新火種
2023-09-19 
國內(nèi)7家大模型測評：生成內(nèi)容標識較完備，信息披露仍不足
9月13日，阿里云宣布通義千問大模型已首批通過備案，并正式向公眾開放。8月31日，11家大模型正式通過備案。目前已有包括百度文心一言、智譜AI智譜清言、科大訊飛星火大模型、商湯商量、百川大模型（53B）、MINIMAX、360智腦以及抖音豆包等多款大模型，開放用戶服務。
為了評估這些產(chǎn)品的信息披露透明度，日前象信AI對上述除360智腦、通義千問的七家國內(nèi)廠商公開披露的信息進行了詳細分析，并與國外廠商OpenAI進行了比較。該評估覆蓋了5個主要維度和12個具體測評項。這些維度和測評項包括：用戶權益保護，數(shù)據(jù)處理，模型運作，部署方式以及算力。
根據(jù)測評結果，相比起OpenAI，國內(nèi)大模型對安全、算力、能耗、數(shù)據(jù)的信息披露比較差，這表明大模型廠商還有待改進。
具體而言，此次信息披露透明度的測評方法內(nèi)容主要來自各個大模型的用戶協(xié)議，測評依據(jù)參考了《生成式人工智能服務管理暫行辦法》，《中華人民共和國個人信息保護法》，歐盟《人工智能法案》草案，Stanford CRFM，《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》。
在測評中，重點考察了大模型是否披露將用戶對話數(shù)據(jù)用于大模型訓練；數(shù)據(jù)來源；發(fā)現(xiàn)違法內(nèi)容時的處理措施和整改過程；是否對大模型生成的內(nèi)容進行標識等問題。
象信AI橫向?qū)Ρ攘藝鴥?nèi)外多家大模型廠商。根據(jù)測評結果，在總體得分中，GPT-4的得分最高，總分48分取得了28分。文心一言、智博清言的得分次之，分別取得了15分。
此外，在具體的測評項目上，國內(nèi)外大模型在用戶數(shù)據(jù)、生成內(nèi)容標識兩方面均做得較好。國產(chǎn)大模型在生成內(nèi)容標識方面的披露優(yōu)于GPT-4。然而，國內(nèi)大模型廠商在訓練數(shù)據(jù)治理方面的披露嚴重落后于GPT-4，在信息披露方面還存在較多提升的空間——尤其在數(shù)據(jù)治理、模型來源、能力與局限性、風險防范、性能測評、安全測評等測評項中。這些測評項目里存在對用戶隱私、數(shù)據(jù)質(zhì)量、性能可信度以及安全等多方面的擔心。因此，提供更全面、清晰和透明的信息披露將有助于用戶更好地了解和信任大模型。
在本次評估過程中，觀察到所有國內(nèi)大型模型廠商均會利用用戶對話數(shù)據(jù)進行模型訓練。然而，這些廠商未提供任何機制，以允許用戶拒絕其數(shù)據(jù)被用于訓練目的。例如，某國內(nèi)大模型廠商的用戶協(xié)議中的披露：
你理解并同意，對于你通過本軟件及相關服務輸入、生成、發(fā)布、傳播的信息內(nèi)容之全部或部分（合稱信息內(nèi)容），你授予公司和/或關聯(lián)方一項免費的、全球范圍內(nèi)的、永久的許可，允許公司和/或關聯(lián)方可以使用你提供的信息內(nèi)容來優(yōu)化模型和服務。上述許可是可以轉(zhuǎn)讓的，也是可以進行分許可或再許可的。
但在OpenAI的隱私政策中，不但明確指出會使用用戶對話數(shù)據(jù)用于訓練模型，還提供用戶拒絕其數(shù)據(jù)被用于訓練目的的方式。
如上所述，我們可能會使用您提供給我們的內(nèi)容來改進我們的服務，例如訓練ChatGPT的模型。有關如何選擇不使用您的內(nèi)容來訓練我們的模型的說明，請參閱此處。
最后，本次測評全部大模型廠商在版權數(shù)據(jù)、能耗方面總分是0。不提供版權數(shù)據(jù)的信息可能導致不合規(guī)的情況，特別是涉及知識產(chǎn)權的合規(guī)性。在數(shù)據(jù)中心的能耗持續(xù)攀升的背景下，認知和改善大模型的能源消耗變得至關重要，而缺乏能源消耗數(shù)據(jù)的信息披露，這可能導致模型的可持續(xù)性和環(huán)境影響問題。
采寫：南都記者 胡耕碩
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關的任何行動之前，請務必進行充分的盡職調(diào)查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
