豆包實時語音大模型正式上線!端到端語音對話情商智商雙高
1月20日消息,今日,字節跳動豆包大模型團隊宣布,豆包實時語音大模型今日正式上線,并在豆包App全量開放,將App升級至7.2.0版本即可體驗。
據介紹,豆包實時語音大模型是一款語音理解和生成一體化的模型,實現了端到端語音對話。
相比傳統級聯模式,在語音表現力、控制力、情緒承接方面表現驚艷,并具備低時延、對話中可隨時打斷等特性,號稱“情商智商雙高”。
該模型是真正意義上的端到端語音系統,主要面向中文語境和場景(可進行英語對話,暫不支持多語種)。
豆包表示,依托于語音和語義聯合建模,豆包實時語音大模型擁有豐富表現力,呈現出接近真人的語音表達水準。
通過學習角色語音和情感特點,模型具備強大講故事能力,在對話或內容演繹中,可生動切換成不同角色/狀態,配合不同情緒表達,增強交互趣味性和沉浸感。
聯合建模后,模型涌現出超出預期的指令理解、聲音扮演和聲音控制能力。
比如,目前模型部分方言和口音,主要源自于Pretrain階段數據泛化,而非針對性訓練。
豆包實時語音大模型輸出語音表現力高度逼近真人,包括類人的副語言特征(如語氣詞、停頓思考等),同時賦予模型實時聯網功能,能根據問題,動態獲取最新信息,對時效問題給到精準、及時的回應。
從豆包發布的技術展示來看,該模型語音語氣自然度和情緒飽滿度逼近真人,對話風格更加擬人,情感理解更加深刻,對用戶的情緒做到較好承接。
豆包大模型團隊也坦言,現階段的模型主要支持中文,其他語種尚未較好支持,中文范圍內,模型也僅支持小部分方言和地方口音的理解和表達。
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。