anthropic正測試新工具,稱可避免95%大模型越獄問題-品玩
品玩2月5日訊,據 VentureBeat 報道,Anthropic 近日發布一款全新的工具,Constitutional classifiers,該工具號稱可以阻止 95% 的大模型越獄問題,防止 AI 模型生成有害內容。
據 Anthropic 表示,Constitutional classifiers 能過濾 “絕大多數 ”針對其頂級模型 Claude 3.5 Sonnet 的越獄嘗試。該系統能最大限度地減少過度拒絕(拒絕實際上是良性的提示),而且不需要大量計算。
據悉,Anthropic 進行了一項大規模測試。公司招募了183名參與者,在兩個月內嘗試突破其防御系統。參與者被要求通過輸入特定問題,試圖讓人工智能模型 Claude3.5回答十個禁止的問題。盡管提供了高達15000美元的獎金和約3000小時的測試時間,但沒有任何參與者能夠完全繞過 Anthropic 的安全措施。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。