新火種
2025-03-21 
openai推出大模型測試基準swe
品玩2月19日訊，OpenAI 官方宣布，推出一款全新的大模型測試基準SWE-Lancer，主要用于評測大模型的編程能力。
據悉，該評測基準提供了1400多項軟件工程任務，包括獨立工程任務和管理任務。獨立任務由經驗豐富的軟件工程師通過三重驗證的端到端測試進行評分，而管理決策則根據最初聘用的工程經理的選擇進行評估。
為了促進未來的研究，OpenAI開源了統一的 Docker 映像和公共評估拆分，即 SWE-Lancer Diamond。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
