Tele-FLM發布|中國電信人工智能研究院攜手智源研究院推動開源社區發展
4月27日上午,2024中關村論壇年會“人工智能主題日”主論壇——未來人工智能先鋒論壇成功舉辦。會上,中國電信人工智能研究院(TeleAI)和北京智源研究院聯合發布Tele-FLM——52B高性能開源多語言大模型。
據悉,Tele-FLM能力比肩甚至超過GPT-3.5。通過損失預測等技術,提高了基礎模型的能力,BPB loss 指標在英文上優于Llama2-70B和 Llama3-8B,在中文上優于Qwen1.5-72。經過微調的對話模型進行了客觀、自動化的能力評測,評測結果顯示,總分上Tele-FLM完成了對GPT-3.5-Turbo的超越。在分項得分中,Tele-FLM在總共的11個分項中有十項達到或超過GPT-3.5-Turbo水平。
僅今年,TeleAI便相繼開源7B、12B參數規模大模型,吸引國內外開源社區開發者廣泛討論和使用。此次與智源聯合發布的52B參數規模Tele-FLM也已全面開源,基礎模型已發布在Hugging Face上;核心技術如超參搜索、穩定訓練等全面公開在GitHub上,超參搜索曲線、Loss曲線、GradNorm、過程評測等多維度訓練細節也已在技術報告中詳細闡述。
據悉,TeleAI將在年內開源千億級參數大模型,構建全尺寸開源格局,通過更豐富的應用場景、更廣泛的落地應用、更繁榮的行業生態,助力中國大模型技術進步與落地應用。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。