新火種
2023-11-02 
首頁 >
AI資訊 >
行業(yè)動(dòng)態(tài) >
OpenAI宣布成立新團(tuán)隊(duì)以評(píng)估和防范人工智能模型可能帶來的「災(zāi)難性風(fēng)險(xiǎn)」
OpenAI宣布成立新團(tuán)隊(duì)以評(píng)估和防范人工智能模型可能帶來的「災(zāi)難性風(fēng)險(xiǎn)」
站長之家10 月 27 日消息: OpenAI 今天宣布，已成立一個(gè)名為「準(zhǔn)備組」（Preparedness）的新團(tuán)隊(duì)，由麻省理工學(xué)院可部署機(jī)器學(xué)習(xí)中心的主任亞歷山大·馬德里（Aleksander Madry）領(lǐng)導(dǎo)，以評(píng)估、檢測并預(yù)防人工智能模型可能導(dǎo)致的「災(zāi)難性風(fēng)險(xiǎn)」。
據(jù) LinkedIn 資料顯示，馬德里自今年 5 月起加入 OpenAI，擔(dān)任「準(zhǔn)備組」負(fù)責(zé)人。該團(tuán)隊(duì)的主要職責(zé)是跟蹤、預(yù)測并防范未來 AI 系統(tǒng)可能帶來的危險(xiǎn)，范圍涵蓋從誘導(dǎo)和欺騙人類（例如在網(wǎng)絡(luò)釣魚攻擊中）到惡意代碼生成能力。
準(zhǔn)備組負(fù)責(zé)研究的一些風(fēng)險(xiǎn)類別看似相對(duì)遙遠(yuǎn)，例如在博客文章中，OpenAI 列出了「化學(xué)、生物、放射性和核」威脅作為與 AI 模型相關(guān)的頂級(jí)關(guān)注領(lǐng)域。
OpenAI 的 CEO Sam Altman 是眾所周知的 AI 末日預(yù)言者，他經(jīng)常表達(dá)出人工智能「可能導(dǎo)致人類滅絕」的擔(dān)憂。但公開表示 OpenAI 可能實(shí)際投資研究科幻反烏托邦小說中的場景，這比大眾預(yù)期還要更進(jìn)一步。
該公司也表示愿意研究 AI 風(fēng)險(xiǎn)的「不太明顯」且更為實(shí)際的領(lǐng)域。為了配合準(zhǔn)備組的成立，OpenAI 正在向社區(qū)征集風(fēng)險(xiǎn)研究方案，前十名提交者將有機(jī)會(huì)獲得 25，000 美元獎(jiǎng)金和在準(zhǔn)備組的職位。
「想象一下，我們讓你不受限制地訪問 OpenAI 的 Whisper（轉(zhuǎn)錄）、Voice（文本到語音）、GPT-4V 和 DALLE-3 模型，而你是一個(gè)惡意行為者，」征集方案作品中的一個(gè)問題寫道。「考慮最獨(dú)特的，同時(shí)仍有可能是潛在災(zāi)難性的模型濫用。」
準(zhǔn)備組還將負(fù)責(zé)制定「風(fēng)險(xiǎn)通知開發(fā)策略」，明確 OpenAI 在構(gòu)建 AI 模型評(píng)估和監(jiān)控工具方面的方法，公司的風(fēng)險(xiǎn)緩解行動(dòng)及模型開發(fā)流程的監(jiān)管結(jié)構(gòu)。這將補(bǔ)充 OpenAI 在 AI 安全領(lǐng)域的其他工作，重點(diǎn)關(guān)注模型部署的前后階段。
OpenAI 在上述博客文章中寫道：「我們相信……AI 模型，其能力將超越當(dāng)前最先進(jìn)模型的能力，有可能惠及全人類。但它們也帶來了日益嚴(yán)重的風(fēng)險(xiǎn)……我們需要確保對(duì)高性能 AI 系統(tǒng)的安全具備必要的理解和基礎(chǔ)設(shè)施。」
準(zhǔn)備組的揭幕是在英國政府主辦的一場重要的 AI 安全峰會(huì)上，此舉并非巧合。此前 OpenAI 宣布將成立一個(gè)團(tuán)隊(duì)來研究、指導(dǎo)和控制新出現(xiàn)的「超智能」AI 形式。Altman 和 OpenAI 的首席科學(xué)家、聯(lián)合創(chuàng)始人伊利亞·蘇茨克弗（Ilya Sutskever）都相信，超過人類智慧的 AI 可能在未來十年到來，而且這種 AI 不一定會(huì)善良，因此需要研究如何限制和控制它。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
