新火種
2023-09-20 
清華大學朱軍：ChatGPT出現后安全問題越發嚴重需不斷提升大模型安全評測能力、構建人工智能安全靶場
《科創板日報》7月4日訊（記者 李明明） 近日，由北京市人民政府聯合工業和信息化部、國家網信辦、商務部、中國科協共同主辦的2023全球數字經濟大會人工智能高峰論壇舉辦。清華大學計算機系長聘教授、清華大學人工智能研究院副院長、瑞萊智慧/生數科技首席科學家朱軍分享了對人工智能目前的發展狀態以及安全態勢的思考和探索。
在朱軍看來，ChatGPT的發展，可以追溯到1978年技術架構的突破和GPT系列的發展，去年年底Chat版本的發布，從根本上解決了意圖理解和可用性、好用性的問題。今年的發展速度會更快。大模型的三個關鍵技術分為別內容學習、思維鏈和指令學習，還有基于人類反饋的強化學習。
過去十年，人工智能最大的變化趨勢就是從小模型變成大模型。“機器學習常用的模型的規模，發生了巨大的變化，呈現指數型增長的趨勢。最受關注的典型成果，就是ChatGPT大語言模型的橫空出世。它解決過去機器學習模型從不好用到好用，能夠理解意圖和上下文等等，已經成了人工智能最受關注、使用最廣泛的產品。”他說。
目前大眾非常關注多模態發展，朱軍總結：首先以大腦為參照，人是多模態感知的系統，天然希望能夠處理多模態數據。其次，很多復雜工程問題中，也會遇到圖像、文本、語音，甚至是觸覺等等各種模態的數據，所以從應用和理論上都需要關注多模態模型的發展，可能這些是未來更強的技術基座形態。“目前來看，文本的進展是相對最成熟的，其它模態也是快速發展的過程中，圖像、語音、視頻、3D，甚至包括分子結構等等，大家都在嘗試訓練和擁抱這種大規模預訓練模型。”
朱軍介紹，團隊在探索大模型如何解決垂直領域的一些問題，即所謂的私域服務。與公域、通用域不同，私域問題的聚焦度更集中，提供的專業深度更強，對數據的要求也更高。這些都是未來比較早的布局，團隊也具有一定的優勢。
談及大模型的安全風險，他指出，AIGC特別是ChatGPT出現以后，安全問題越來越嚴重。大模型本身可能會對Prompt Injection（一種攻擊技術）攻擊風險，加入少量編輯就會被誤導，同時也存在數據泄露的風險，ChatGPT會把很多隱私數據上傳。現在還出現了用AIGC技術來提升詐騙手段，通過虛假內容來實現黑產攻擊，包括代碼生成實現網絡攻擊。而且生成的虛假內容本身是不良的，存在誤導性和欺騙性。
“此外，算法本身是否存在政治偏見和數字鴻溝，數據采集的過程中會不會侵犯知識產權，這些在大模型時代都在變得越來越重要和受關注。”
因此，國家對人工智能相關治理非常重視，近期發布了一系列重要規定和法律，包括《AIGC服務管理辦法（征求意見稿）》《深核管理規定》等等。
那么，究竟有哪些思路和嘗試可以解決這些問題？
朱軍認為，首先是從通過基礎理論研究突破、提高內在安全性能來持續構建第三代人工智能。從人工智能基礎嘗試，針對深度學習、深度神經網絡，學術界一直在探索第三代人工智能新范式，希望能夠將數據和知識有機融合在一起，發展更加安全可靠的人工智能框架。
其次是不斷提升大模型安全評測能力。主要關注對抗攻擊評測、角色扮演與誘導欺騙評測、混淆指令欺騙評測等方面。
三是構建人工智能安全治理有效工具——人工智能安全靶場。前期團隊對此做了探索，包括人工智能本身的安全平臺，安全評測、防御和整個態勢的評估，包括對抗樣本這些場景，可以通過平臺化方式，對人工智能的算法和服務進行評測。而特殊專業的應用場景，可專門針對對抗樣本檢測，偽造視頻檢測等等進行防護，即人臉識別的防火墻，現在金融行業也在部署和應用。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
