首頁 > AI資訊 > 工具使用 > StableDiffusionComfyUI基礎教程(八):如何使用Controlnet

StableDiffusionComfyUI基礎教程(八):如何使用Controlnet

新火種    2024-01-31

一、前言

終于到了最激動人心的時刻,我們使用 Stable Diffusion 最重要的就是他的可控性,其中 Controlnet(控制網(wǎng)絡)的作用居功至偉,它可以引入更多的條件來讓我們出圖更加可控。

往期回顧:

在最開始之前我們需要安裝 Controlnet 預處理器插件以及下載 Controlnet 模型:

①Controlnet 預處理器插件:

插件地址: https://github.com/Fannovel16/comfyui_controlnet_aux.git如果安裝后,運行 ComfyUI 顯示無法導入插件請運行“ComfyUI\custom_nodes\comfyui_controlnet_aux”目錄下的“install.bat”文件

②Controlnet 模型:

常用模型我會放在本節(jié)課文件鏈接里面;模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\controlnet”目錄下,如果你是和 Web UI 共用的模型,那就要看你第一節(jié)課設置的是插件下的還是 "models" 下的位置了。一、創(chuàng)建流程

1. 需要有哪些操作:

①為了能讓大家更直觀的了解使用 Controlnet 需要有哪些操作,我先以 Web UI 上的 Controlnet 為例:

②我們可以看到在使用 Controlnet 插件時,需要我們加載圖像、選擇預處理器、加載 Controlnet 模型,以及控制權重、控制引導介入時機、控制引導終止時機;

③好了,開始正題,我們還是以“萬能的文生圖”為基礎,先打開“文生圖基礎流程”,我們這個基礎上把 Controlnet 流程加進去。

2. 預處理器:

①Controlnet 預處理器分有很多,比如:線條、面部與姿態(tài)、法向與深度、語義分割、顏色、Tile 平鋪等多個類型,并且每個類型又有多個預處理器,我們先以線條中的 Canny 細致線預處理器為例,后面我會分別介紹他們有什么作用,以及怎么使用;

②先“右鍵-新建節(jié)點-圖像-加載圖像”去加載圖像,這個應該都會了吧。然后我們再去選擇 Controlnet 預處理器,“右鍵-新建節(jié)點-Controlnet 預處理器-線條-Canny 細致線預處理器”

③這一步是我們預處理器最重要的地方,我們可以把“加載圖像”與“預處理器進行連接”,并且在右側連接一個“預覽圖像”,然后跑一下,看看效果。

④可以看到,我們的圖片已經(jīng)被處理成黑底白色的線稿,這個線稿就是我們使用 Controlnet 之前的必備條件;

⑤當然,如果我們有已經(jīng)處理好的圖片,我們就可以省略“預處理器”這一步,直接進行下一步就可以了。

3. Controlnet:

①圖片已經(jīng)處理好了,我們這時候就需要去加載選擇 Controlnet 模型的節(jié)點,以及用來進行權重控制的節(jié)點;

② “右鍵-新建節(jié)點-Controlnet 加載器”

③ “右鍵-新建節(jié)點-條件-Controlnet 應用”,這時候我們會看到兩個 Controlnet 應用節(jié)點,分別是 Controlnet 應用、Controlnet 應用(高級):

強度:就是我們用來控制權重的,還記得上節(jié)課 Lora 權重的控制嗎,是一個意思;開始時間:我們在繪圖時,Controlnet 什么時候進行控制;結束時間:我們在繪圖時,Controlnet 什么時候結束控制;

④相比較,Controlnet 應用只能用來控制權重,開始/結束時間采用默認 0/1。另外 Controlnet 應用(高級)需要去連接負面關鍵詞。我們根據(jù)自己的使用選擇就可以,我一般使用 Controlnet 應用(高級);

4. 工作流:

①我們使用 Controlnet 所需要的節(jié)點都已經(jīng)加載出來了,我們把他們連接起來,并添加到“文生圖基礎流程”中;

②我們把“預處理器”處理好的圖像以及“Controlnet 加載器”分別連接到“Controlnet 應用”;

③選擇 Controlnet 模型,這時候我們一定要選擇對應功能、對應版本的模型:

比如我們用的 Canny 預處理器,那我們就要選擇 Canny 的 Controlnet 模型(我會在挨個介紹預處理器的時候給大家講解,他們分別對應哪些模型);我們出圖采用的是 SD1.5 的大模型,那我們就要去選擇 SD1.5 的 Controlnet 模型;我給大家演示是用的 SD1.5 的大模型,那我就選擇了“control_v11p_sd15_canny”這個模型。

④“正/反 CLIP 文本編碼器”連接“Controlnet 應用”,“Controlnet 應用”連接“K 采樣器”

⑤我們可以看到我通過一個二次元大模型以及關鍵詞控制后,得到一張相同細節(jié)的二次元圖像。

5. 多個 Controlnet 如何連接:

大家學習 ComfyUI 有段時間了,應該能猜到多個 Controlnet 怎么連接吧,我們在“Controlnet 應用”后面再串聯(lián)個“Controlnet 應用”就可以了,其余的該連 Controlnet 模型的連模型,該連 Controlnet 預處理器的連預處理器。

三、后續(xù)課程規(guī)劃

到這我們的 ComfyUI 基礎教程就已經(jīng)結束,在接下來的課程中我會帶給大家?guī)砀畹恼n程,比如:

Controlnet 各種預處理器以及模型的詳細講解;如何使用“LCM模型&Turbo模型”進行快速出圖和實時繪圖;如何使用 AnimateDiff 插件生成視頻動畫;如何使用 Stable Video Diffusion 模型進行圖生視頻;如何使用 Stable Zero 123 模型生成多角度圖像并生成視頻。

更多的課程還在規(guī)劃中,大家敬請期待!

相關推薦
免責聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內(nèi)容相關的任何行動之前,請務必進行充分的盡職調(diào)查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。

熱門文章