首頁 > AI資訊 > 工具使用 > StabilityAI帶著SD3.5回來了!修復重大Bug,可免費商用!

StabilityAI帶著SD3.5回來了!修復重大Bug,可免費商用!

新火種    2024-10-24

Stability AI 帶著 SD 3.5 回來了!修復重大 Bug, 可免費商用!

大家好,我是花生~

就在昨天,知名開源大模型平臺 Stability AI(以下簡稱 SAI)突然發布了新的 Stable Diffusion 3.5 模型。本以為在經歷 SD 3 發布失利、核心成員出走、Flux 模型發布等一系列沖擊后,SAI 會元氣大傷,沒想到原來是在默默憋大招。

這次發布的 SD 3.5 模型不僅在很多方面都有了優化提升,而且全部免費可商用,算是給開源社區的發展注入了一針新的強心劑,下面一起來看看它的特點和使用方法吧~

了解 6 月份發布的 SD 3 模型:

一、SD 3.5 模型簡介

此次的 SD 3.5 模型總共包括 3 個型號,分別是 :

① SD 3.5 Large:擁有 80 億個參數,在圖像質量和提示詞準確性方面表現優異,是 SD 系列中最強大的模型,適合 1 兆像素分辨率的專業用例。

② SD 3.5 Large Turbo:Large 模型的精煉版本,只需 4 個步驟即可生成高質量圖像,因此出圖質量會比 Large 快,同時提示詞準確性依舊能保持在不錯的水平。

③ SD 3.5 Medium(29 號正式發布):該模型擁有 25 億個參數,適用于消費類硬件,平衡了圖像質量和模型易用性,是更適合一般用戶的性價比之選。

Stability AI 帶著 SD 3.5 回來了!修復重大 Bug, 可免費商用!

從官方發布的示例圖,以及網上用戶發布的測試圖來看,SD 3.5 的圖像生成質量的確不錯。SD 3 時就具備的特性,比如高清細節、準確的提示詞理解、 優秀的文本生成排版能力等,在 SD 3.5 中依舊保有并表現更好了,另外 SD 3.5 還支持更包容的內容輸出和更多樣的風格。

比如之前的 SD 模型默認以白色人種為主,現在則可以輕松能生成不同膚色的人;而且只需修改關鍵詞,SD 3.5 就能生成各種藝術風格的圖像,包括 3D、攝影、卡通、線條藝術、賽博朋克等,美學質感表現非常亮眼, 甚至不輸 Midjourney 和 Flux.1。

Stability AI 帶著 SD 3.5 回來了!修復重大 Bug, 可免費商用!

另外 SD 3.5 修復了 SD 3 模型的一個重大 bug —— 無法生成 “躺在草地上的女孩” 。這點大家應該有印象,SD 3 在發布后,很快被人發現在生成 “A girl lying on the grass” 時,人物的軀體四肢會出現明顯的扭曲畸形,相關圖像也成了一時廣為流傳的 AI 梗圖,讓 SD3 的處境非常尷尬。

也許是為了一雪前恥,在此次介紹更新的官方博客中,第一張放的就是一個女性仰面躺在草地上的圖像,我第一眼看到的時候差點笑出聲,看來官方也是知道大家對 SD3 的吐槽的。 不過在博客中,官方也提到之所以沒有立刻對 SD3 采取修復措施,是決定花時間進一步開發一個新版本,于是 SD 3.5 就誕生了,SD 系列也算是能接上原有的發展路徑了。

Stability AI 帶著 SD 3.5 回來了!修復重大 Bug, 可免費商用!

最最重要的是,此次發布的三個模型都有非常寬松的使用許可 —— 年收入總額低于 100 萬美元(或等值當地貨幣)的組織或個人免費用于研究、非商業和商業用途。也就是對于個人和中小公司而言,SD 3.5 的三個模型可以自由免費商用,果然免費開源還是得看 Stability AI。

開源社區里目前對 SD 3.5 和 Flux Dev 的生成能力做了多次對比,在質感細節、風格多樣性上 SD 3.5 占有優勢,但生成手指、腳趾、姿勢動作時遠不及 Flux 準確自然。但總體來說還是 SD 3.5 比 SDXL 和 SD 3 好很多,加上模型是開源可商用這點,相信之后會和 SDXL 一樣,激發出很多高質量的微調模型。

二、ComfyUI 本地部署

官方目前已經在 Huggingface 上開源了 SD 3.5 Large 和 Large Turbo 兩款模型,ComfyUI 第一時間就進行了支持。另外 ComfyUI 官方自己還發布了一款 sd3.5_large_fp8_scaled 模型,適合低顯存(8G)用戶。下面分別介紹三款模型的基礎使用。

① SD 3.5 Large

模型下載: /uploads/pic/20241024/stable-diffusion-3.5-large (文末有資源包與工作流)

安裝方法:

將 ComfyUI 更新到最新版本;將 SD 3.5 Large 放到 comfyui 根目錄的 models/checkpoint 文件夾;下載 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors,放到 models/clip 文件夾;將 SD3.5L_example_workflow.json 工作流文件拖入 ComfyUI 界面;

工作流使用注意事項:

Large 模型適合顯存 16G 及以上的用戶。SD 3.5 Large 和 Turbo 模型本身不包含文本編碼器/CLIP 權重,因此需要單獨加載。在正式生成前,注意檢查自己是否安裝比正確選擇了這些模型。圖像分辨率需要是 64 的倍數;CFG 參數推薦 4.5-5.5;采樣器 DPM++2M;生成步數 30-40。

Stability AI 帶著 SD 3.5 回來了!修復重大 Bug, 可免費商用!

② SD 3.5 Large Turbo

模型下載: /uploads/pic/20241024/stable-diffusion-3.5-large-turbo/tree/main (文末有資源包工作流)

使用方法:

更新 ComfyUI,將 SD 3.5 Large Tubro 放到 comfyui 根目錄的 models/checkpoint 文件夾;下載 Clip_g.safetensors、Clip_l.safetensors 和 t5xxl_fp8.safetensors,放到 models/clip 文件夾;將 SD3.5L_Turbo_example_workflow 工作流文件拖入 ComfyUI 界面;采樣器步數改為 4,cfg 改為 1.2 -1.6,其余用法和 Large 一樣

Stability AI 帶著 SD 3.5 回來了!修復重大 Bug, 可免費商用!

③ SD 3.5 Large Fp8

模型下載: /uploads/pic/20241024/main (文末有資源包與工作流)

Fp8 模型融合了 Clip 模型,因此和普通 SD 1.5 模型的用法是一樣的,8G 顯存可用:

更新 ComfyUI,下載 sd3.5_large_fp8_scaled 模型放到根目錄的 models/checkpoint 文件夾;生成步數 20,采樣器 DPM++2M。

Stability AI 帶著 SD 3.5 回來了!修復重大 Bug, 可免費商用!

除了以上三個模型,SAI 還將于 10 月 29 日發布 SD 3.5 Medium 模型,并且后續還將推出對應的 Controlnet。

自 Flux dev 模型發布后,開源社區的目光就從 SD 系列轉移到了 Flux 上,各類微調模型迅速涌現,已然有后來居上的趨勢。 而此次 SD 3.5 的發布則可以視為是 SAI 發出的反攻信號,要重新奪回自己的開源社區的領導地位。

畢竟 Flux dev 不可商用,而且對顯存要求也高,一定程度上限制了它的進一步發展應用。而 SD 3.5 在模型訓練階段就為后期微調做了兼容,再加上模型質量明顯提升、可免費商用、消費級硬件適用等優勢,肯定能在開源社區中發展、衍生出更多優質模型,重現 SDXL 發布時的繁榮景象。

那么以上就是本期為大家介紹的 SD 3.5 的相關內容,如果對你有幫助的話記得點贊、收藏、評論支持一波,我會有更動力為大家推薦新的干貨內容~

文內的資源都可以在云盤內下載。ComfyUI 的學習門檻比較高,如果你想掌握它,建議先從 Stable Diffusion WebUI 開始,它更適合初學入門,學會后也能有助于我們快速掌握 ComfyUI 的用法。 我最新制作的 《零基礎 AI 繪畫入門指南》是一門面向 AI 繪畫零基礎人群的系統課程,包含 Stable Diffusion WebUI 全面細致的用法教學,并提供配套資源,能幫你快速掌握這款目前最熱門的 AI 繪畫工具。

想了解更多 AI 新鮮資訊的話,歡迎關注 AI 自學網 和微信視頻號,每天都會分享最新的 AIGC 資訊和神器,讓你輕松掌握 AI 發展動態。也歡迎大家掃描下方的二維碼加入“ AI 知識交流群”,和我及其他設計師一起交流學習 AI 知識~

Stability AI 帶著 SD 3.5 回來了!修復重大 Bug, 可免費商用!

相關鏈接:

https://stability.ai/news/introducing-stable-diffusion-3-5https://comfyanonymous.github.io/ComfyUI_examples/sd3/?ref=blog.comfy.org

推薦閱讀:

文件名 如何下載使用 文件大小 提取碼 下載來源 SD3.5模型2ftu 點此復制 登錄下載
相關推薦
免責聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。

熱門文章