馬毅團隊新作!微調多模態大模型會災難性遺忘,讓性能大減
編輯:桃子 好困【新智元導讀】馬毅教授團隊最新研究表明,微調多模態大語言模型(MLLM)將會導致災難性遺忘。模型災難性遺忘,成為當前一個關鍵熱門話題,甚至連GPT-4也無法避免。近日,來自UC伯克利、NYU等機構研究人員發現,微調后的多模態大模型,會產生災難性遺忘。論文地址:https://arxi
編輯:桃子 好困【新智元導讀】馬毅教授團隊最新研究表明,微調多模態大語言模型(MLLM)將會導致災難性遺忘。模型災難性遺忘,成為當前一個關鍵熱門話題,甚至連GPT-4也無法避免。近日,來自UC伯克利、NYU等機構研究人員發現,微調后的多模態大模型,會產生災難性遺忘。論文地址:https://arxi
ControlNet作者“敏神”(張呂敏),剛剛上新了一個新項目——名叫IC-Light V2,可以說是把AI打光這事兒玩得溜溜的。IC-Light是此前張呂敏開發的圖像處理工具,可以通過AI技術精確控制圖像中的光照效果。
MIT新晉副教授何愷明,新作新鮮出爐:瞄準一個橫亙在AI發展之路上十年之久的問題:數據集偏差。該研究為何愷明在Meta期間與劉壯合作完成,他們在論文中指出:這不禁讓人懷疑:我們在消除數據集偏差的戰斗中,真的取得了勝利嗎?
人類生成的數據推動了人工智能的驚人進步,但接下來會怎樣呢?幾天前,Google DeepMind 強化學習副總裁 David Silver 參與了一場播客訪談節目,探討了如何從依賴人類數據的時代邁向自主學習的時代。
圖像生成是當前 AIGC 領域最熱門的方向之一。近期發布的圖像生成模型如 DALL?E 2、Imagen、Stable Diffusion 等等,開創了圖像生成的新時代,實現了前所未有的圖像質量和模型靈活性水平。擴散模型也成為目前占據主導地位的范式。然而,擴散模型依賴于迭代推理,這是一把雙刃劍,因為
自從 Transformer 模型問世以來,試圖挑戰其在自然語言處理地位的挑戰者層出不窮。這次登場的選手,不僅要挑戰 Transformer 的地位,還致敬了經典論文的名字。再看這篇論文的作者列表,圖靈獎得主、深度學習三巨頭之一的 Yoshua Bengio 赫然在列。論文標題:Were RNNs
近年來,人工智能發展迅速,尤其是像ChatGPT這樣的基礎大模型,在對話、上下文理解和代碼生成等方面表現出色,能夠為多種任務提供解決方案。
大佬何愷明還未正式入職MIT,但和MIT的第一篇合作研究已經出來了:他和MIT師生一起開發了一個自條件圖像生成框架,名叫RCG(代碼已開源)。這個框架結構非常簡單但效果拔群,直接在ImageNet-1K數據集上實現了無條件圖像生成的新SOTA。
在人形機器人領域,有一個非常值錢的問題:既然人形機器人的樣子與人類類似,那么它們能使用網絡視頻等數據進行學習和訓練嗎?如果可以,那考慮到網絡視頻的龐大規模,機器人就再也不用擔心沒有學習資源了。近日,德克薩斯大學奧斯汀分校和 NVIDIA Research 的朱玉可團隊公布了他們的一篇 CoRL 20
在開源社區中把GPT-4+Dall·E 3能?整合起來的模型該有多強?香港中文大學終身教授賈佳亞團隊提出多模態模型Mini-Gemini:Mini-Gemini還提供了2B小杯到34B的超大杯,最強模型在多個指標上相比谷歌的Gemini Pro甚至GPT-4V都不遑多讓。