新火種
2023-11-01 
從BloombergGPT看金融GPT機遇華泰證券：關注后續GPT在銀行領域的業務機會
智通財經APP獲悉，華泰證券發布研究報告稱，3月30日，Bloomberg發布專為金融領域打造的大語言模型(Large Language Model，LLM)BloombergGPT，實現了LLM在金融垂直場景的加速落地。從測試結果來看，BloombergGPT在保證LLM通用性能的基礎上，更加聚焦金融場景,有效實現了LLM與金融垂直領域知識的深度融合。BloombergGPT的成功，佐證了“開源模型+高質量垂直數據”LLM搭建思路的有效性，金融GPT率先在證券場景落地，同時建議關注后續GPT在銀行領域的業務機會。
華泰證券主要觀點如下：
模型拆解：核心突破在于構建金融訓練數據集
根據論文《BloombergGPT: A Large Language Model for Finance》介紹，BloombergGPT同樣基于典型的Transformer架構，與OpenAI GPT模型相同，采用了僅有解碼器(decoder-only)的技術路徑。對比來看，BloombergGPT的模型參數為500億，介于GPT-2(1.5億)與GPT-3(1,750億)之間。不同的是， Bloomberg為強化LLM對金融垂直領域的專業理解，構建了目前最大規模的金融數據集FINPILE，通過通用文本+金融知識的混合訓練，讓 BloombergGPT在執行金融任務上的表現超過現有的通用LLM模型，在通用場景上的表現與現有通用LLM模型能力基本持平。
模型啟示：“開源模型+垂直數據”大有可為
以GPT-3、GPT-4為代表的大語言模型均由大型的專業人工智能團隊開發，并且模型訓練需要大量算力。BloombergGPT的成功證明了“開源模型+高質量垂直數據”的方案，可以基于垂直領域數據打造同樣具有競爭力的大語言模型。大量的高質量垂直領域知識有望彌補模型在規模上的不足，對比BloombergGPT與GPT-3可以看到，盡管BloombergGPT的模型參數相較于GPT-3較小，但得益于BloombergGPT的預訓練數據增加了大量的高質量金融數據，并對預訓練數據進行了一系列的清洗、標注，BloombergGPT在通用能力與GPT-3基本持平的情況下，實現了金融垂直能力的大幅增強。
金融GPT展望：掌握金融數據的廠商有望復制BloombergGPT路徑
基于BloombergGPT的成功案例，該行認為，訓練數據是大語言模型能力塑造的關鍵因素，同時，Bloomberg在論文中明確出于對數據泄露的擔憂，BloombergGPT將采取與OpenAI相同的閉源方案，側面佐證了原始的預訓練數據是各家大模型競爭的重要因素。從國內的金融GPT的預期來看，金融IT廠商掌握著豐富的金融垂直知識與現有AI產品布局，基于高質量的金融數據與開源的大語言模型，同樣有機會打造專屬金融場景的大語言模型，實現大語言模型在金融場景的有效賦能，讓大語言模型成為底層的AI操作系統。
風險提示：宏觀經濟波動影響;應用落地不及預期;本報告基于公開客觀信息整理，不構成投資建議。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
