機器人志愿者,多語種解說系統:北大“黑科技”亮相杭州亞運
可協助殘障人士找到座位的機器人“志愿者”,能對賽場視頻進行多語種解說的多模態解說系統——9月27日,澎湃新聞(www.thepaper.cn)從北京大學了解到,北大計算機學院的最新“黑科技”在杭州亞運會期間亮相。

機器人“志愿者” 澎湃新聞記者 陸玫 圖
“我們關注到,少數民族、殘障人士等特殊觀眾群體,受限于語言、行動等多重因素,觀看體育賽事仍然面臨著一定的挑戰?!北本┐髮W項目相關發起人莊棨寧表示,為提升這部分人群的觀賽體驗,在學院黃鐵軍教授和仉尚航研究員的指導和支持下,專門開發了兩套系統:多模態大模型智能賽場服務系統和高速運動多模態解說系統。
據介紹,多模態大模型智能賽場服務系統基于團隊自研的感知生成一體化多模態大模型,能夠精準地感知與理解場館內外的視覺場景,生成準確豐富的語言描述,控制機器人執行智能志愿者服務任務。舉例來說,它們可以為觀眾提供導覽服務,協助視障人士進行引領和導航,解析視障人士需求并完成相應任務,幫助視障人士撿拾掉落的物品等。
高速運動多模態解說系統則可運用于乒乓球等比賽賽事中,清晰成像高速運動場景,捕捉體育比賽中的關鍵時刻,以脈沖流采集高質量視頻數據。在高速脈沖相機的加持下,團隊研發的X-Accessory一體化大模型工具鏈,設計多模態多語種視頻解說系統,針對賽場實況或直播畫面進行多個語種的解說和報道。
澎湃新聞從北京大學了解到,目前多模態大模型智能賽場服務系統已在杭州多個公共區域試用,高速運動多模態解說系統也已用于多場亞運賽事轉播。
Tags:
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。