新火種
2024-12-27 
昇騰AI平臺訓練推理！中國聯通元景文生圖大模型開源：真正懂中文
中國聯通宣布，聯通數據智能公司打造、首個完全在國產昇騰AI軟硬件平臺上實現訓練和推理的中文原生文生圖模型“聯通元景文生圖模型”，正式開源。
該模型實現了多項自主創新突破：
首先是在架構上，通過在SDXL架構中融合復合語言編碼模塊，實現了對中文長文本、多屬性對應和中文特色詞匯的精確語義理解，對應圖像的生成效果得到了極大提升。
其次是在昇騰AI大規模算力集群上，實現了中文原生文生圖模型的訓練和推理，并將模型和代碼對業界開源，以推動文生圖領域的國產化進程。
據悉，原始SDXL的語言編碼器僅使用英文CLIP模型，智能支持英文文本輸入，輸入長度也不能超過77個token。
對此，聯通元景文生圖模型一方面將英文CLIP模型替換成中文CLIP，并引入復合語言編碼架構，使用基于encoder-decoder架構的語言模型，突破文本長度限制。
通過引入復合語言編碼模塊，元景文生圖模型實現了原生中文語義理解，避免了利用翻譯插件等作為中介調用英文文生圖模型造成的中文信息損失。
同時，通過引入海量中文圖文對數據進行預訓練，模型對中文專屬名詞，如鼠標-老鼠、仙鶴-吊車等英文模型易混淆的對象，以及中文菜譜等英文模型無法理解的名詞，都能夠準確理解并生成對應的高質量圖片。
（在英文中均翻譯成crane，易混淆）
（中文特色詞匯）
中國聯通在國產昇騰AI基礎軟硬件平臺上實現了元景文生圖模型從微調訓練到推理的一體化適配。
在微調訓練方面，用戶可使用自定義數據集，實現從其它平臺至昇騰的平滑切換；
在模型推理方面，接口與Diffusers對齊，簡單易用，支持單卡和多卡，單卡推理支持UNet Cache加速。
該模型已在聯通的多個內外部項目中服務于文創、服裝、工業設計等諸多領域，支撐了中華器靈、服裝大模型等數十個案例。
聯通元景文生圖模型賦能服裝設計
聯通元景文生圖模型賦能文物活化
目前，元景文生圖模型已在GitHub、Hugging Face、魔搭、始智等社區全面開源，地址如下：
GitHub：
HuggingFace：
魔搭：
始智：
聯通元景文生圖模型在全球數字經濟大會上獲獎
文章內容舉報
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
