科創板日報
2024-11-15 
黑客已經盯上了大模型！面對AI帶來的安全風險，需要“用AI對抗AI”
《科創板日報》5月29日訊（記者 黃心怡）ChatGPT的發布，在帶動新一輪人工智能浪潮的同時，也驅動了網絡攻擊和網絡犯罪的升級。
“過去，黑客生產一個攻擊病毒需要數月時間，現在通過大模型工具可能幾分鐘就能生成，大大提高了攻擊的效率。同時大模型對于編程語言的理解也非常強，攻擊者可利用大模型迅速發現軟件的漏洞。還有一波急功近利的黑客，利用AI的算法在視頻中做人臉的深度偽造，產生了新一波網絡詐騙犯罪的涌現。”亞信安全高級副總裁陳奮在接受《科創板日報》采訪時表示。
同時，攻擊者的攻擊目標從傳統的資產盯上了AI算力基礎設施和大模型。“年初美國一個數千臺服務器的算力集群被攻破，黑客拿去挖比特幣。AI算力基礎設施就是高價值的GPU集群，這無疑具有巨大的誘惑力，甚至大模型本身也有可能被利用。過去短短一年時間，針對大模型的攻擊手段已經涌現出10種不同的類型。”陳奮稱。
目前，國內外廠商都針對大模型領域推出了安全產品。微軟在5月份正式商用了Security Copilot，聲稱在未來要投入千億美金在人工智能上。谷歌去年發布了網絡安全專有大模型，已經應用到云安全能力中心中。網絡安全巨頭Paloalto、CROWDSTRIKE均在其安全運營平臺集成了大模型的安全運營能力。
國內的相關數據顯示，80%以上的網絡安全公司都在將大模型技術集成到網絡安全產品中，30%的公司已經開始做大模型安全的研究，也出現了一些安全創業的浪潮。
針對AI技術發展帶來的安全風險，中國工程院院士、清華大學智能產業研究院院長張亞勤則建議，從事前沿大模型的企業或機構，要把10-30%的投資投到相關研究或產品的開發。
▍黑客盯上大模型
在張亞勤看來，人工智能特別是大模型在帶來新機遇的同時，本身存在很多安全風險，這促使信息安全的范疇需要擴大，包括AI本身的安全風險，模型的參數數據、模型對人類的攻擊性，不可解釋性、黑箱等，以及可控性、可信性、邊界等問題。
陳奮向《科創板日報》記者介紹，去年已經發現了針對大模型的海綿樣本攻擊。大致原理是通過向大模型發布特殊的樣本，讓算力消耗急劇上升。原來幾秒鐘能做出響應的需求，被攻擊后需要大量的時間計算。哪怕停止攻擊以后，同樣的一個請求，大模型也需60秒以上才能返回，即原來的20倍以上。
“如果未來的核心應用是大模型驅動的AI原生應用，基本上等于癱瘓了。這只是一個相對基礎的攻擊事例，可以看到針對大模型攻擊很快會到來。”
談到AI對安全產業的影響，陳奮認為，大模型技術、GPT技術必然帶來網絡安全產品技術范式的革新。網絡安全的攻防從原來人和人之間的對抗，升級到AI和AI之間的對抗。只有AI驅動的網絡安全防護檢測技術才能識別AI驅動的黑客攻擊技術。最典型的案例是深度偽造，人眼可能都看不出來的人臉替換，只有通過AI技術才能識別出來。
同時，大模型技術將推動網絡安全產品全面革新，從檢測到產品體驗、安全運營，帶來網絡安全產品設計范式全面的變化。這意味著安全廠商如果不及時轉型，將喪失未來的競爭力。
此外，保護的對象也發生了變化。對于企業而言，如果未來其核心應用是通過大模型驅動的，那么保護企業的資產就從傳統的資產演進為保護企業的AI中心。在個人的家庭安全方面，也從原來個人的家庭終端演進為保護家庭的AI中心。
“從傳統個人的桌面、手機，演化到智能家居、智能汽車，甚至未來每個家庭可能都有一個人工智能。一旦AI走進千家萬戶，私人所有的數據人工智能都會知道。如果AI被黑客所控制，那是非常可怕的。個人的隱私、數據，可能就被黑客竊取走了。”陳奮稱。
▍安全廠商紛紛入局大模型
自大模型熱潮以來，國內已有多家安全廠商紛紛推出了安全大模型。例如亞信安全推出了網絡安全自研大模型信立方，奇安信推出了Q-GPT和大模型衛士、深信服有安全GPT2.0，啟明星辰等廠商也都推出了相關產品。
陳奮認為，大模型時代的安全問題可分為兩大類，一是Security For AI，主要聚焦在保護算力安全的基礎設施，以及保護大模型的安全；二是AI For Security，主要聚焦在網絡安全行業的垂直大模型的研發，以及在此之上做網絡安全的智能體以及安全應用。
《科創板日報》記者了解到，除了深度微調開源大模型，亞信安全也與業內的大模型公司比如與智譜AI合作；在算力生態上，與星云算力等算力公司進行合作；在科研生態上，與清華大學合作建立了聯合實驗室。
“如果自己構建算力中心，代價很大。所以我們選擇跟算力公司合作，租用其算力節點，按需獲得想要的算力。他們則會直接買我們算力云的安全解決方案。我們既拿到了想要的算力，又能夠提供我們的安全服務。”陳奮表示。
對于大模型的開源和閉源路線之爭，陳奮介紹，“我們自己也微調了很多開源大模型，確實能達到一定的效果。有些場合上，閉源的大模型效果應該是最好的。在行業場景上，閉源大模型帶來的通用能力會比開源得更好，所以我們堅持閉源和開源相結合路線。”
▍至少10%的大模型研發經費要投入至安全風險
在AI所帶來的安全風險方面，張亞勤介紹，“近一到兩年來個人花了很多時間在做相關的事情”，包括專門成立一個20人左右的“人工智能發展與治理專題研討會”——參與人員包括三位“圖靈獎”獲得者和兩位深度學習領域的開創者，每過一段時間就一起研討AI的發展和風險治理。
“我們認為，AI技術發展帶來的安全和風險不僅是政策制定的問題，也不單純是科學、技術、產品問題，需要做政策治理的人員和做科研的一起合作，將AI發展和治理融合起來，才有健康的發展。”張亞勤說。
為此，張亞勤提出了5個建議：
一是要對AI大模型分級管理，萬億甚至更多參數的前沿大模型的風險相對較高，應加強監管。對于一般的模型就不需要太多的治理，現在技術和政策法規已經可以了，最高級別需要治理。
二是對AI生成的內容要有清晰標識，比如對AI生成的數字人，要像“廣告”標識一樣有醒目的標注，讓人知道這是AI生成的。
三是要有實體映射系統。張亞勤判斷，未來會有很多無人車、很多機器人，十年之后人形機器人可能比人類要多很多倍。而AI智能體、機器人、無人車等，應明確其作為“從屬物”映射到人或企業的主體，相關智能體出現問題，應追溯其主體責任。他提出，現在就應著手制定相關政策法規。
四是要加大對大模型風險安全的投入。他呼吁，政府或企業在開發AI大模型過程中，要拿出10%~30%的投入在安全風險的研究或產品開發。張亞勤說：“一開始就拿出30%比較難，可以先拿出10%做安全和風險的研究和創新產品。”
五是要設立具體的紅線邊界。他提出，AI技術有時沒有邊界，這也是大模型會產生幻覺的原因。因此人在使用大模型時，需要制定一些邊界。比如智能數字人不能無限制地復制，大模型用于金融、軍事、無人車等核心系統設施時要設立清晰紅線等。
“這不僅僅是一個企業的事，不僅僅是國家的事，需要全球的企業和政府精誠合作，面對風險、面對存在的問題去解決。”張亞勤最后提到。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
