新火種
2023-09-08 
中國科學(xué)院院士何積豐：應(yīng)對大模型的安全問題需設(shè)好“緊箍咒”
中國經(jīng)濟(jì)導(dǎo)報、中國發(fā)展網(wǎng)訊 記者邱愛荃上海報道模型的通用能力讓其能夠應(yīng)用到人類生產(chǎn)生活的各個場景中，可謂“無孔不入”。AI的發(fā)展因此帶來了新的安全隱私問題，如何解決這一隱患，9月7日開幕的2023 INCLUSION·外灘大會上，中國科學(xué)院院士何積豐開出了他的“藥方”：利用對齊技術(shù)為大模型戴上緊箍咒。
何積豐院士認(rèn)為，大模型的安全問題主要是在未經(jīng)同意的情況下，收集、使用和泄露個人信息。隱私問題既可能發(fā)生在訓(xùn)練過程，也可能發(fā)生在使用過程中，而大模型的生成能力則讓“隱私泄露”的方式變得多樣化，造成隱私保護(hù)更加困難。
“為了應(yīng)對這些問題，我們需要大模型對齊技術(shù)。”何積豐說，“對齊（alignment）”是指系統(tǒng)的目標(biāo)和人類價值觀一致，使其符合設(shè)計者的利益和預(yù)期，不會產(chǎn)生意外的有害后果。“如果把人工智能看作西游記里的孫悟空，‘對齊’就是唐僧的緊箍咒。有了緊箍咒，就可以保證技術(shù)不會任意使用能力胡作非為。”
不過，對齊技術(shù)同樣面臨挑戰(zhàn)。首先，對齊的基礎(chǔ)上，人類的價值觀是多元且動態(tài)變化的，需要保證大模型為人服務(wù)、與人為善；其次，大模型的有用性與無害性之間的目標(biāo)也不完全一致。如何對錯誤進(jìn)行有效糾正，設(shè)好大模型的“緊箍咒”也是挑戰(zhàn)。
因此，對齊技術(shù)已經(jīng)成為了一項令人眼花繚亂的跨學(xué)科研究，不僅考驗技術(shù)，也審視文化。
何積豐介紹，反饋強(qiáng)化學(xué)習(xí)是實(shí)現(xiàn)對齊的技術(shù)途徑，目前有兩種方式，一種方式是通過人工反饋給模型不同的獎勵信號，引導(dǎo)模型的高質(zhì)量輸出；另一種方式，事先給大模型提供明確的原則，系統(tǒng)自動訓(xùn)練模型對所有生成的輸出結(jié)果提供初始排序。“這意味著，不僅智能系統(tǒng)需要向人類價值觀對齊，人類的訓(xùn)練方法也要向價值觀對齊。”何積豐說。
Tags:
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
