新火種
2023-10-22 
理論篇：GPT工作原理
人工智能ChatGPT孕育了三四年橫空出世，國內人工智能AI只能望其項背。那么，ChatGPT的原理是什么，它是怎么做到的？本文簡要揭秘其原理。
?
?①GPT--預訓練模型架構。
?
?GPT采用Transformer作為其基礎架構，使得模型能夠在處理語言任務時更好地理解上下文信息和語義關系。
該架構有兩個組建構成，編碼器（Encoder）和解碼器（Decoder）。
編碼器負責將輸入序列（例如文本）轉換為高維表示，以便模型能夠理解序列的語義和結構。?
解碼器負責生成下一個詞語或預測序列中缺失的詞語。在預訓練過程中，GPT的解碼器是通過自回歸（autoregressive）方式訓練的，即在生成每個詞語時，依賴于前面已生成的詞語。
?②自注意力機制（Self-Attention）。
?
?自注意力機制（Self-Attention）是Transformer架構中的一項關鍵技術，用于對輸入序列中的不同位置信息進行建模和處理。它在處理序列數據時能夠捕捉序列中元素之間的依賴關系，從而更好地理解上下文和語義。
?
?③GPT模型訓練機制。
?
?第一步：無監督學習，對海量數據進行學習。
第二步：監督學習，規范化。
第三步：強化學習，引導回答，使回答接地氣。
?
?由此可見，第二、三步是要有人參與的，比如按照人類的道德和價值觀，有哪些是不能輸出的，有哪些是需要改進的，有人參與才能使其結果更加平滑、更自然、更親民。
?
?④GPT模型的缺陷。
?
?缺陷一：為了應對未被數據庫記憶的情況，它會學習語言單位之間的規律，用學到的規律來生成答案。于是在遇到實際不同但符合同一個規律的內容時，模型有可能混淆，胡亂編造答案。
缺陷二：決策背后使用的模型不可知，只能通過觀察結果來評估；無法查看和更新所學。
缺陷三：它高度依賴數據；數據需要多，豐富，質量高。
⑤觀察。
根據CHATGPT的工作原理，它就需要非常大的算力和人力。算力主要是硬件(CPU、GPU、內存、存儲)和電力，而人力要靠真金白銀。這也是CHATGPT比較摳門，試驗幾次就要收費的原因，因為其背后有人在挨個回答問題、完善問題的答案。
本質上來說，技術架構再怎么先進，最終還是人在給人回答問題，只是回答問題更高效、更爽滑了。【聽一非講故事·快速長見識】
?
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
