財(cái)聯(lián)社周子意
2024-11-16 
用GPT-4糾錯(cuò)GPT-4！OpenAI推出CriticGPT模型
6月28日訊（編輯 周子意）根據(jù)OpenAI周四（6月27日）發(fā)布的新聞稿，該公司新推出了一個(gè)基于GPT-4的模型——CriticGPT，用于捕獲ChatGPT代碼輸出中的錯(cuò)誤。
CriticGPT的作用相當(dāng)于讓人們用GPT-4來(lái)查找GPT-4的錯(cuò)誤。該模型可以對(duì)ChatGPT響應(yīng)結(jié)果做出批評(píng)評(píng)論，從而幫助人工智能訓(xùn)練師在“基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）”過(guò)程中發(fā)現(xiàn)的錯(cuò)誤，為人工智能訓(xùn)練師提供明確的人工智能幫助。
這一新模型的發(fā)布意在向投資者傳達(dá)，OpenAI在RLHF賽道上的領(lǐng)先地位。RLHF的一個(gè)關(guān)鍵部分就是收集比較，讓人工智能訓(xùn)練師對(duì)不同的ChatGPT回答進(jìn)行評(píng)分，并反饋給ChatGPT。
研究發(fā)現(xiàn)，當(dāng)訓(xùn)練師借助CriticGPT來(lái)審查ChatGPT輸出代碼時(shí)，他們的表現(xiàn)要比沒(méi)有得到幫助的人高出60%。并且，在CriticGPT的幫助下，他們的指正比自己?jiǎn)为?dú)做的更加全面。
CriticGPT的審查
隨著大模型在推理和行為方面的進(jìn)步，ChatGPT變得更加準(zhǔn)確，它的錯(cuò)誤也變得更加微妙。這可能會(huì)使人工智能訓(xùn)練師很難發(fā)現(xiàn)其中不準(zhǔn)確的情況，從而使RLHF的比較任務(wù)更加困難。
若是如果沒(méi)有更好的工具，人們很難對(duì)這些系統(tǒng)進(jìn)行評(píng)估。而OpenAI指出，CriticGPT模型將有能力評(píng)估先進(jìn)人工智能系統(tǒng)的輸出。
OpenAI舉了一個(gè)例子：用戶對(duì)ChatGPT下達(dá)“用Python編寫指定函數(shù)”的任務(wù)，ChatGPT根據(jù)這一指令給出了相關(guān)代碼。對(duì)于ChatGPT給出的代碼，CriticGPT點(diǎn)評(píng)了其中一條，并給出了效果更好的替代方案。
還有一項(xiàng)數(shù)據(jù)顯示，在OpenAI的實(shí)驗(yàn)中，隨機(jī)訓(xùn)練師在超過(guò)60%的時(shí)間里更傾向于人類與CriticGPT合作后得出的指正，而不是單純由人類訓(xùn)練師作出的批評(píng)。
不過(guò)，OpenAI也指出，CriticGPT的建議并不總是正確的，但與沒(méi)有人工智能的幫助相比，它還是可以幫助訓(xùn)練師找出模型中的更多問(wèn)題。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法，不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn)，讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前，請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
