新火種
2024-11-22 
山石網科帶你揭開大語言生成模型的神秘面紗
在這個科技飛速發展的時代,人工智能已經深入到我們生活的每一個角落。作為人工智能領域的一顆耀眼明星,大語言生成模型引起了廣泛的關注。它究竟有何魅力,又是如何改變我們的生活和工作的呢?下面,讓我們一起走進大語言生成模型的世界,探尋其背后的秘密。
從一個簡單的“函數”故事講起
在我們的數學世界里,有一個簡單而強大的概念叫做“函數”。想象一下,你有一個公式 f(x) = ax + b,這是一個線性函數,其中 a 和 b 是固定的數字,而 x 是你可以任意選擇的數字。每當你在 x 的位置放入一個數字,這個函數就會按照 a 和 b 的規則,給出一個相應的結果。比如,如果 a=2 且 b=1,那么當你輸入 x=3 時,函數就會輸出 f(3) = 2*3 + 1 = 7。這個過程中,a 和 b 決定了函數的形狀和位置,它們是函數的關鍵參數。
在機器學習的領域,這個概念被進一步擴展。機器學習中的模型就像是一個復雜的函數,它的任務是通過調整內部的參數(就像 a 和 b),來盡可能地擬合給定的數據樣本。這些參數不是預先設定的,而是通過訓練過程中不斷調整的。訓練的過程,實際上就是機器學習模型在尋找最合適的 a 和 b 的值,使得模型能夠準確地預測或生成新的數據。
在這個簡化的例子中,我們只有兩個參數 a 和 b。但是,在現實世界的機器學習模型中,參數的數量可能是成千上萬的。而當這些參數的數量達到上十億、甚至百億級別時,我們就進入了一個全新的領域——大型語言模型。這些大模型擁有極其復雜的內部結構,它們通過大量的參數(即無數的 a 和 b)來捕捉和學習語言的深層次規律。這些模型能夠理解語境、生成連貫的文本,甚至模擬人類的創造力,從而在自然語言處理領域展現出驚人的能力。當我們談論大語言生成模型時,我們實際上是在談論一個由海量參數構成的龐大函數,它能夠處理和生成人類語言的奇跡。
大語言模型的工作流程:“接龍”游戲
現在,讓我們通過一個具體的例子來理解大語言模型是如何工作的。想象一下,我們正在玩一個語言的“接龍”游戲,你我說出一個句子,然后另一個人接著完成它。在這個游戲中,大語言模型就像是那個能夠無限接下去的玩家。例如: 當輸入“故宮在哪里?”這個問題時,大語言模型的核心任務就是預測下一個字的可能性。
首先,我們將每個字視為一個獨立的單元,也就是一個“token”。模型在接收到“故宮在哪里?”這個輸入后,會為每個可能的下一個字計算一個概率分布。這個概率分布告訴我們,模型認為每個字出現在這個位置的可能性有多大。
例如,當模型處理到“在哪里”這個部分時,它可能會計算出以下概率分布:
?“在”字的概率是0.2
?“東”字的概率是0.15
?“西”字的概率是0.13
?…..
在這個概率分布的基礎上,模型會采用一種選擇策略,比如選擇概率最高的字。因此,在這個例子中,模型選擇了“北”字作為下一個字。
這個過程會不斷重復,模型每次都根據當前的上下文預測下一個字的概率分布,并選擇概率最高的字,直到它生成一個特殊的token——“[end]”。這個“[end]”token是一個標記,告訴模型停止生成文本。
所以,當我們輸入“故宮在哪里?”時,模型可能會這樣工作:
1.輸入:“故宮在哪里?”
2.模型計算概率分布,選擇“北”字。
3.新的輸入變為:“故宮在哪里?北”
4.模型再次計算概率分布,選擇“京”字。
5.重復這個過程,直到模型生成“[end]”。
最終,我們可能會得到一個完整的回答:“故宮在哪里?在北京[end]”,這時模型停止生成文本。通過這種方式,大語言模型能夠一步步構建出連貫的回答。
大模型如何學習知識?
上面我們知道了大語言模型的基本工作流程,那我們如何講我們需要的“知識”教會大語言模型呢? 大語言模型有兩種學習方法:
全量預訓練:知識的全面融合
全量預訓練是一種更為全面的訓練方法。它涉及到對整個模型參數的重新訓練,通常需要結合舊的知識和新的知識一起進行。全量預訓練的目的是讓模型在保持原有知識的基礎上,吸收新的信息,從而提升其整體性能。
微調:特定任務的精準打擊
微調是一種針對特定任務的訓練方法,它通過在預訓練模型的基礎上調整部分參數來優化模型對特定任務的響應。這個過程可以看作是對模型進行精細化的雕刻,使其在特定領域或場景下表現得更加出色。
在微調過程中,我們通常會使用與特定任務相關的數據集來對模型進行訓練。這些數據集包含了任務的特定背景知識,模型通過學習這些數據,能夠更好地理解和處理相關任務。例如,如果我們想要一個模型能夠更好地處理法律文檔,我們就可以使用法律領域的文本數據進行微調。
然而,微調的局限性在于它的專一性。模型在微調后可能在特定任務上表現出色,但它的通用性會受到影響。微調后的模型往往只能在特定領域內保持高效,而在其他領域則可能表現不佳。
增量訓練的難題
下面我們用一個例子來說明為什么大模型在學習了新的“知識”,為什么會丟失一定的通用能力。
假設我們有一個簡單的線性模型 f(x) = ax + b,我們需要根據已有的數據點來訓練這個模型。我們有兩個數據點:(2, 6) 和 (3, 7)。
1.使用第一個數據點 (2, 6):f(2) = a * 2 + b = 6
2.使用第二個數據點 (3, 7):f(3) = a * 3 + b = 7
訓練后,我們得到 a = 1 和 b = 4。
當我們微調這個模型,引入一個新的知識-數據點 (4, 13)。
我們的新方程是:
?4a + b = 13
使用之前的參數 a = 1 和 b = 4,我們得到:f(4) = 1 * 4 + 4 = 8
這顯然與新的數據點 (4, 13) 不符,因此我們需要調整模型。
我們使用新數據點來重新計算 b:b = 13 - 4a b = 13 - 4 * 1 b = 9
現在我們的模型變成了 f(x) = 1x + 9。
微調后的模型 f(x) = 1x + 9 能夠很好地適應新的數據點 (4, 13),但是我們需要檢查它是否仍然適應舊的數據點。
對于舊數據點 (2, 6):f(2) = 1 * 2 + 9 = 11,不等于 6。
對于舊數據點 (3, 7):f(3) = 1 * 3 + 9 = 12,不等于 7。
這表明,雖然我們的模型現在適應了新的數據點,但它已經不再適應最初的數據點。這就是災難性遺忘的例子:在微調過程中,模型為了適應新數據點而失去了對舊數據的擬合能力。
RAG(檢索增強生成)模式介紹
一般而言,對于大多數“靜態”的知識,我們可以通過檢索相關資料并將其作為提示詞注入到大模型中,這一方式已成為當前主流。它簡化了知識更新的過程,使得模型能夠以簡單、可控且高效的方式吸收和利用最新信息,從而顯著提升了大模型在處理各類任務時的性能和適應性。
大語言模型的學習和適應能力是有限的,但它們在人工智能領域的應用潛力是巨大的。隨著技術的不斷進步,我們有理由相信,未來的研究將能夠更好地解決災難性遺忘等問題,使得大模型能夠在保留舊知識的同時,更加靈活地學習新知識,為我們的生活和工作帶來更多便利。通過不斷的探索和創新,我們將繼續推動人工智能技術的發展,讓大語言模型成為連接人類與智能世界的橋梁。
山石網科公司介紹:
山石網科是中國網絡安全行業的技術創新領導廠商,由一批知名網絡安全技術骨干于2007年創立,并以首批科創板上市公司的身份,在2019年9月登陸科創板(股票簡稱:山石網科,股票代碼:688030)。
現階段,山石網科掌握30項自主研發核心技術,申請540多項國內外專利。山石網科于2019年起,積極布局信創領域,致力于推動國內信息技術創新,并于2021年正式啟動安全芯片戰略。2023年進行自研ASIC安全芯片的技術研發,旨在通過自主創新,為用戶提供更高效、更安全的網絡安全保障。目前,山石網科已形成了具備“全息、量化、智能、協同”四大技術特點的涉及邊界安全、云安全、數據安全、業務安全、內網安全、智能安全運營、安全服務、安全運維等八大類產品服務,50余個行業和場景的完整解決方案。
（本文來源：咸寧新聞網。本網轉發此文章，旨在為讀者提供更多信息資訊，所涉內容不構成投資、消費建議。對文章事實有疑問，請與有關方核實或與本網聯系。文章觀點非本網觀點，僅供讀者參考。）
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
