新火種
2024-01-04 
阿里巴巴推AI畫圖框架SCEdit可顯著減少訓練參數(shù)
站長之家12月27日 消息:阿里巴巴的新項目SCEdit是一個AI畫圖框架，可以顯著減少訓練參數(shù)、內(nèi)存使用率和計算開銷。在訓練階段，它減少了52%的內(nèi)存消耗，僅利用ControlNet所需參數(shù)的7.9%，并實現(xiàn)內(nèi)存使用量減少30%。
該項目的簡介指出，圖像擴散模型已被用于各種任務，如文本到圖像生成和可控圖像合成。最近的研究引入了微調(diào)方法，對原始模型進行細微調(diào)整，在基礎(chǔ)生成式擴散模型的特定適應性方面取得了有希望的結(jié)果。
SCEdit并不是修改擴散模型的主干部分，而是深入研究U-Net中跳躍連接的作用，并揭示出在編碼器和解碼器之間聚合遠程信息的分層特征對圖像生成內(nèi)容和質(zhì)量產(chǎn)生重大影響。
基于這一觀察，SCEdit提出了一個高效的生成式調(diào)整框架，它使用輕量級調(diào)節(jié)模塊SC-Tuner來集成和編輯Skip Connection。此外，所提出的框架允許通過注入不同條件與可控SC-Tuner簡化并統(tǒng)一多條件輸入網(wǎng)絡(luò)設(shè)計以實現(xiàn)可控圖像合成任務。由于其輕量級調(diào)節(jié)器使得反向傳播僅傳遞給解碼器塊，SCEdit顯著減少了訓練參數(shù)、內(nèi)存使用率和計算開銷。
在文本到圖像生成和可控圖像合成任務上進行了大量實驗，結(jié)果表明SCEdit在效率和性能方面具有優(yōu)勢。同時，該項目也宣布了開源，盡管還沒有提供具體的代碼，但已經(jīng)有開發(fā)者表示愿意幫助實現(xiàn)。
相關(guān)推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務必進行充分的盡職調(diào)查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
