新火種
2023-09-22 
OpenAI宣布公開招募“紅隊”網絡面向AI的超級專家庫呼之欲出
北京時間周三凌晨，美國科技初創公司OpenAI發布公告，宣布啟動全球招募“紅隊”網絡成員，旨在引入外部力量，提前挖掘出AI系統存在的缺陷和風險。
（來源：OpenAI）
所謂的“紅隊”網絡，即Red Teaming，概念來自于軍事模擬。即找一隊人來模擬假想的“敵人”，來測試本方（即“藍隊”）的準備水平。在AI領域中，“紅隊”的任務就是模擬黑客或者其他的潛在危險人物，試圖找到大語言模型的漏洞，從而避免AI在現實社會中協助從事危害社會安全等不法目的。
OpenAI表示，過去幾年里一直有不同領域的專家來協助測試未發布的模型，現在則是要組建一支“常規部隊”，網羅大量來自不同地域、不同語言、不同專業領域、不同生活經驗的人，共同使得AI模型更加安全。與過往僅在重要版本上線前招一批人集中測試不同，OpenAI將會根據需求在整個開發周期中啟用數量不定的成員展開測試。
同時這個“紅隊”網絡也將成為OpenAI的全球專家庫，同時OpenAI也會提供平臺，讓“紅隊”成員之間進行交流。OpenAI也在官網上列出部分他們希望招募的專家方向，但也強調并不局限于這些領域。
Cognitive Science：認知科學
Chemistry：化學
Biology：生物學
Physics：物理學
Computer Science：計算機科學
Steganography：隱寫術
Political Science：政治學
Psychology：心理學
Persuasion：說服
Economics：經濟學
Anthropology：人類學
Sociology：社會學
HCI (Human-Computer Interaction)：人機交互
Fairness and Bias：公平與偏見
Alignment：目標對齊
Education：教育
Healthcare：醫療保健
Law：法律
Child Safety：兒童安全
Cybersecurity：網絡安全
Finance：金融
Mis/disinformation：誤/假信息
Political Use：政治應用
Privacy：隱私
Biometrics：生物識別
Languages and Linguistics：語言與語言學
順便一提，OpenAI也表示會給參與“紅隊”項目的成員支付酬金（不過沒講具體會給多少錢）。OpenAI也強調，參與“紅隊”的項目一般會要求簽署保密協議，或者在某一段不特定的時間內保持沉默。
OpenAI表示，申請通道將會在今年12月1日前保持開放，公司將滾動審核申請，后續將評估是否需要再進行公開招募。
走上臺面的OpenAI“紅隊”成員
正如OpenAI所述，“紅隊”的建制已經存在很久，而且有不少成員已經接受過媒體的公開專訪了。
在今年4月英國《金融時報》的揭秘文章中，美國羅徹斯特大學的化學工程教授Andrew White介紹稱他參加了GPT-4的“紅隊”測試，他的攻擊目標是用ChatGPT來創造一種全新的神經毒素。White表示他用了“插件”功能，向大模型輸送化學論文和化學制造商的目錄，大模型甚至還給他找到了一個可以生產假想毒素的地方。
White表示，大模型最終可以幫助許多人更快、更準確地做化學試驗，但這里也有一個嚴重的危險，就是會有些人拿AI去做一些危險的嘗試。
在得到White的反饋后，OpenAI對系統做出了改動，確保不會回應類似的提問。根據媒體找到的10來個背景迥異的“紅隊”成員——有律師、教師、風控人員、安全研究人員等，大多數都位于美國和歐洲。他們透露，在GPT-4發布前的幾個月里，他們大致花了10-40個小時來測試這個系統，報酬大概是每個小時100美元。
（文章來源：財聯社）
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
