新火種
2023-12-10 
亞馬遜AWS將提供人類基準(zhǔn)測(cè)試團(tuán)隊(duì)來(lái)測(cè)試人工智能模型
站長(zhǎng)之家11 月 30 日消息: 亞馬遜希望用戶能夠更好地評(píng)估人工智能模型，并鼓勵(lì)更多人參與這一過(guò)程。
在 AWS re:Invent 大會(huì)上，AWS 數(shù)據(jù)庫(kù)、分析和機(jī)器學(xué)習(xí)副總裁 Swami Sivasubramanian 宣布推出宣布 Bedrock 上的模型評(píng)估，現(xiàn)已提供預(yù)覽，用于評(píng)估其存儲(chǔ)庫(kù) Amazon Bedrock 中的模型。如果沒(méi)有一種透明的測(cè)試模型的方式，開發(fā)者可能最終會(huì)使用不夠準(zhǔn)確的模型來(lái)處理問(wèn)答項(xiàng)目，或者使用對(duì)他們的用例來(lái)說(shuō)過(guò)大的模型。
Sivasubramanian 說(shuō)：「模型的選擇和評(píng)估不僅僅在開始時(shí)進(jìn)行，而且是定期重復(fù)的事情。我們認(rèn)為讓人類參與循環(huán)是很重要的，所以我們提供了一種管理人類評(píng)估工作流程和模型性能指標(biāo)的方法。」
Sivasubramanian 在此前接受的采訪中表示，有時(shí)一些開發(fā)者不知道他們是否應(yīng)該使用更大的模型來(lái)進(jìn)行項(xiàng)目，因?yàn)樗麄兗僭O(shè)更強(qiáng)大的模型會(huì)滿足他們的需求。后來(lái)他們發(fā)現(xiàn)，他們本可以基于一個(gè)更小的模型來(lái)構(gòu)建。
模型評(píng)估包括兩個(gè)部分：自動(dòng)評(píng)估和人工評(píng)估。在自動(dòng)版本中，開發(fā)者可以進(jìn)入他們的 Bedrock 控制臺(tái)并選擇一個(gè)模型進(jìn)行測(cè)試。然后，他們可以根據(jù)像魯棒性、準(zhǔn)確性或有害性等指標(biāo)來(lái)評(píng)估模型在任務(wù)上的性能，如摘要、文本分類、問(wèn)答和文本生成。 Bedrock 包括了流行的第三方人工智能模型，如 Meta 的 Llama 2. Anthropic 的 Claude 2 和 Stability AI 的 Stable Diffusion。
盡管 AWS 提供測(cè)試數(shù)據(jù)集，但客戶可以將自己的數(shù)據(jù)帶入基準(zhǔn)測(cè)試平臺(tái)，以便更好地了解模型的行為。然后系統(tǒng)生成一份報(bào)告。
如果涉及到人類，用戶可以選擇與 AWS 的人工評(píng)估團(tuán)隊(duì)或他們自己的團(tuán)隊(duì)合作。客戶必須指定任務(wù)類型（例如摘要或文本生成）、評(píng)估指標(biāo)以及他們想使用的數(shù)據(jù)集。AWS 將為與其評(píng)估團(tuán)隊(duì)合作的用戶提供定制化的定價(jià)和時(shí)間表。
AWS 生成式人工智能副總裁 Vasi Philomin 在接受采訪時(shí)表示，更好地了解模型的性能有助于更好地指導(dǎo)開發(fā)。它還允許公司在使用模型之前，看看模型是否不符合一些負(fù)責(zé)任的人工智能標(biāo)準(zhǔn)——比如有害性敏感度過(guò)低或過(guò)高。
Philomin 說(shuō)：「重要的是模型要為我們的客戶工作，要知道哪個(gè)模型最適合他們，我們正在給他們一種更好地評(píng)估這一點(diǎn)的方法。」
Sivasubramanian 還表示，當(dāng)人類評(píng)估人工智能模型時(shí)，他們可以檢測(cè)到自動(dòng)系統(tǒng)無(wú)法檢測(cè)到的其他指標(biāo)——比如同理心或友好度。
Philomin 表示，AWS 不會(huì)要求所有客戶都對(duì)模型進(jìn)行基準(zhǔn)測(cè)試，因?yàn)橐恍╅_發(fā)者可能之前已經(jīng)使用過(guò) Bedrock 上的一些基礎(chǔ)模型，或者對(duì)模型對(duì)他們有何用處已有所了解。那些仍在探索要使用哪些模型的公司，可能會(huì)從經(jīng)歷基準(zhǔn)測(cè)試過(guò)程中受益。
AWS 表示，雖然基準(zhǔn)測(cè)試服務(wù)目前處于預(yù)覽階段，但它只會(huì)對(duì)評(píng)估期間使用的模型推理收費(fèi)。
盡管沒(méi)有特定的人工智能模型基準(zhǔn)測(cè)試標(biāo)準(zhǔn)，但某些行業(yè)普遍接受特定的指標(biāo)。Philomin 表示， Bedrock 上的基準(zhǔn)測(cè)試的目標(biāo)不是廣泛評(píng)估模型，而是為公司提供一種衡量模型對(duì)其項(xiàng)目影響的方式。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
