新火種
2024-03-19 
StableDiffusionComfyUI進階教程（二）：Controlnet面部與姿態預處理器
這節課我們繼續去學習 Controlnet 預處理器中的面部與姿態預處理器，這也是我們在使用 Controlnet 時最常用的一種控制方式之一，使用姿態能讓我們生成的圖像與輸入的面部與姿態數據保持一致性。
一、DW 姿態預處理器
①介紹：從圖像中提取手部、身體、面部姿態信息并生成骨架圖；
②檢測手部、身體、面部：這不用說了吧，關掉就不會生成此部位骨架圖，開啟就會生成此部位骨架圖；
③BBox 檢測：邊界框檢測器，用于檢測圖像中的對象并標識其位置（比如用來框選空姐在圖中的位置）；
④姿態預估：姿態預估模型，通過此模型提取人/動物的姿態特征，也是我們這個預處理器最重要的算法；
⑤姿態關鍵點：用來保存姿態關鍵點成 json 文件和給姿態關鍵點面部上色的，左鍵點住向外拖就能看到“保存姿態關鍵點”和“姿態關鍵點面部上色”。
⑥對應模型：
SD1.5 模型：control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1
SDXL 模型：暫無
⑦效果預覽：
二、Openpose 姿態預處理器
①介紹：從圖像中提取手部、身體、面部姿態信息并生成骨架圖，效果不如 DW 姿態預處理器；
②檢測手部、身體、面部：同 DW 姿態預處理器；
③對應模型：
SD1.5 模型：control_v11p_sd15_openpose、t2iadapter_openpose_sd14v1
SDXL 模型：暫無
④效果預覽：
三、Dense 姿態預處理器
①介紹：通過不同顏色來區分人體部位，達到控制姿態的效果。實際上 Dense 應該歸類為語義分割（我們后面會講），從控制效果上來說不如我們說過的 DW 姿態 靈活；
②模型：有兩個模型 r50 和 r101，我們用 r50 就可以，這個檢測的效果最好；
③色彩映射：色彩映射是一種將數據值映射到顏色的過程，通過色彩映射，可以使用不同的顏色來表示數據的不同數值。這些顏色來自于預定義的調色板，我們這里選擇的就相當于另一個調色板（色彩映射不改變圖像的細節或數據本身，只是改變了用來表示數據的顏色）；
④對應模型：
SD1.5 模型：controlnetFor_v10
SDXL 模型：暫無
⑤效果預覽：
⑥說個題外知識：
如果有同學們了解過字節開源的 Magic Animate 可能會對處理后的圖像眼熟。沒錯，字節的這個項目就用到了 DensePose，我們給一個圖片和 DensePose 就能得到一個視頻（如下）；
青龍大佬做了這個項目的整合包，也有 ComfyUI 作者寫了這個項目的插件，讓我們可以在 ComfyUI 上使用，也有個部署在 Hugging Face 上的可以免費使用。感興趣的可以研究一下，我就不多介紹了（建議使用青龍大佬的整合包，更方便一些）。
注意：顯存至少 12GB；
四、MediaPipe 面部網格預處理器
①介紹：通過對圖像人臉識別實現面部穩定，比如我們要生成一個有特定表情的人物，但是關鍵詞并不能詳細的描述出來，我們就可以找一張這個表情的圖像進行識別。現在用的比較少，DW 姿態預處理器完全可以代替；
②最大面部數量：指定最大檢測的面部個數（最多識別 50 個）；
③最小置信度：指定判定為面部的最小閾值（數值不是越大越好，識別效果，取決于加載圖像的質量）；
④對應模型：
SD1.5 模型：control_v2p_sd15_mediapipe_face
SDXL 模型：暫無
⑤效果預覽：
五、AnimaIPose 動物姿態預處理器
①介紹：從圖像中提取動物骨骼姿態；
②BBox 檢測：邊界框檢測器，用于檢測圖像中的對象并標識其位置（比如用來框選薩摩耶在圖中的位置）
③姿態預估：姿態預估模型，通過此模型提取人/動物的姿態特征，也是我們這個預處理器最重要的算法；
④對應模型：
SD1.5 模型：control_sd15_animal_openpose_fp16
SDXL 模型：暫無
⑤效果預覽：
Tags:
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
