新火種
2025-01-20 
OpenAI開啟調(diào)查：GPT-4o及4o-mini模型性能下降
1月20日消息，據(jù)報道，OpenAI發(fā)布事故報告指出，當(dāng)前遭遇GPT-4o和4o-mini模型性能下降問題，目前正在進行調(diào)查，并將盡快發(fā)布最新消息。
近期，科研人員創(chuàng)新性地推出了一項名為LONGPROC的基準(zhǔn)測試工具，該工具專為評估模型在處理長上下文中的復(fù)雜信息并生成相應(yīng)回復(fù)的能力而設(shè)計。
實驗結(jié)果略顯意外：包括GPT-4o在內(nèi)的眾多頂尖模型，雖然在常規(guī)長上下文回憶基準(zhǔn)測試中表現(xiàn)優(yōu)異，但在應(yīng)對復(fù)雜的長文本生成任務(wù)時，仍暴露出顯著的改進需求。
具體而言，盡管所有參測模型均宣稱其上下文窗口大小超過32K tokens，但實際情況卻大相徑庭。開源模型在處理僅含2K tokens的任務(wù)時便顯露疲態(tài)，而諸如GPT-4o等閉源模型，在應(yīng)對8K tokens任務(wù)時性能也明顯下滑。
以GPT-4o為例，在要求其生成詳細(xì)旅行規(guī)劃的任務(wù)中，即便提供了明確的時間節(jié)點和直飛航班信息，模型的輸出結(jié)果中仍出現(xiàn)了不存在的航班信息，即產(chǎn)生了“幻覺”現(xiàn)象。
實驗進一步揭示，即便是最前沿的模型，在生成連貫且冗長的內(nèi)容方面仍存在較大提升空間。特別是在需要輸出8k tokens的任務(wù)中，即便是參數(shù)龐大的先進模型也未能幸免于難，這或許預(yù)示著未來大型語言模型（LLM）研究的一個極具潛力的方向。
相關(guān)推薦
- 免責(zé)聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認(rèn)可。 交易和投資涉及高風(fēng)險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務(wù)必進行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。
