北大騰訊打造多模態15邊形戰士!語言作“紐帶”,拳打腳踢各模態,超越Imagebind
北大聯合騰訊打造了一個多模態15邊形戰士!以語言為中心,“拳打腳踢”視頻、音頻、深度、紅外理解等各模態。具體來說,研究人員提出了一個叫做LanguageBind的多模態預訓練框架。用語言作為與其它模態之間的紐帶,凍結語言編碼器,然后用對比學習方法,將各個模態映射到一個共享的特征空間,
北大聯合騰訊打造了一個多模態15邊形戰士!以語言為中心,“拳打腳踢”視頻、音頻、深度、紅外理解等各模態。具體來說,研究人員提出了一個叫做LanguageBind的多模態預訓練框架。用語言作為與其它模態之間的紐帶,凍結語言編碼器,然后用對比學習方法,將各個模態映射到一個共享的特征空間,
好太太董秘李翔:資本市場卓越 “紐帶”,引領公司價值攀升