新火種
2024-01-26 
Controlnet最新動態！6款超好用的新模型解析（附下載）
大家好我是花生~
之前為大家系統介紹過 Stable Diffusion WebUI 中 Controlnet 插件的安裝使用方法，也系統梳理過各個模型的用法。現在 Controlnet 又有了一些新的模型和功能，今天正好為大家梳理一下。
Controlnet 相關推薦：
一、Animal_openpose
Animal_openpose 是一個專門提取狗、鹿、馬、豹等四足動物姿勢骨架的模型，也可以用來引導人馬等奇幻形象的生成。使用時需要：
① 下載 rtmpose-m_simcc-ap10k_pt-aic-coco_210e-256x256-7a041aa1_20230206.onnx 預處理器模型，放到 extensions\sd-webui-controlnet\annotator\downloads\openpose 文件夾內
② 下載 control_sd15_animal_openpose_fp16.safetensors 模型文件，安裝到根目錄的 extensions\sd-webui-controlnet\models 文件夾中
模型文件安裝完成后，在 Controlnet 中啟用 animal_openpose 預處理器和模型，按正常流程生成即可。
二、Densepose
Densepose 也是控制人物動作的模型，區別在于 openpose 和 dw_openpose 提取的是骨架圖，densepose 提取則是軀干和四肢的輪廓圖，它可以判斷復雜的姿勢重疊，與 Depth 模型搭配使用效果更好。使用時需要：
下載 densepose_r50_fpn_dl.torchscript 文件，安裝到根目錄的 extensions\sd-webui-controlnet\annotator\downloads\densepose 文件夾中下載 controlnetFor_v10.safetensors 模型文件，安裝到根目錄的 extensions\sd-webui-controlnet\models 文件夾中
Densepose 預處理器有 2 種，densepose (pruple bg & purple torso) 生成紫色背景/紫色主體的預覽圖，densepose_parula (black bg & blue torso) 生成黑色背景/藍色主體的預覽圖，使用時按需要選擇，控制模型選擇 controlnetFor_v10.safetensors 即可。
三、Depth_anything
Depth_anything 是一個新的深度估計模型，相比其他深度模型，它處理的預覽圖更清晰銳利，并且在處理運動畫面時有更好的表現，適合用于 Animatediff 等視頻插件。使用時需要下載 control_sd15_depth_anything.safetensors 模型文件，安裝到根目錄的 extensions\sd-webui-controlnet\models 文件夾中，使用時在 Controlnet 中啟用 depth_anything 預處理器和模型，按正常流程生成即可。
四、Depth_hand_refiner
Depth_hand_refiner 是一個專門修復手部畸形的深度模型，預處理器已經內置在最新版本的 controlnet 中了，使用時需要下載 hrnetv2_w64_imagenet_pretrained.pth 模型文件，放到 extensions\sd-webui-controlnet\annotator\downloads\hand_refiner\hr16/ControlNet-HandRefiner-pruned 文件夾中。
生成的圖像如果發現手部出現問題，可以將其發送到「圖生圖-局部重繪」中，先用畫筆涂抹手部區域；然后啟用 controlnet，上傳問題圖像，預處理器選 Depth_hand_refiner，模型選 control_v11f1p_sd15_depth，點擊生成，就可以將手部問題修復正常了。
五、Ip-adapter_face_id_plus
Ip-adapter_face_id_plus 是 Ip-adapter_face_id 的升級版，可以更好地保持人物面部的一致性，用能實現與 Reactor 相似的人物換臉效果。目前共有 FaceID / FaceID Plus / FaceID Plus v2 / FaceID SDXL 4 款模型，每款都有對應的預處理器、控制模型和 lora 模型，使用時的搭配要正確。
準備工作：
使用 face_id 首先需要安裝 insightface，具體方式見官方教程。下載 ip-adapter-faceid-plus_sd15.bin 模型，安裝到根目錄 extensions\sd-webui-controlnet\models 文件夾下載 ip-adapter-faceid-plus_sd15_lora.safetensors 模型，安裝到 models\Lora 文件夾下載 buffalo_l 文件夾，放到 extensions\sd-webui-controlnet\annotator\downloads\insightface\models 中
模型安裝完成后，啟用 controlnet，上傳換臉源圖像，選擇 ip-adapter-faceid-plus 模型和預處理器；填寫正向提示詞，添加 ip-adapter-faceid-plus_sd15_lora 模型，權重 0.5-0.7；其他生成參數正常設置即可。
六、Softedge_teed
Softedge_teed 是一款新的軟邊緣處理模型，提取的線條邊緣比其他幾款預處理器更清晰詳細一些。使用前需要：
下載 7_model.pth 模型，安裝到根目錄 extensions\sd-webui-controlnet\annotator\downloads\TEED 中SD1.5 模型直接搭配 control_v11p_sd15_softedge 控制模型使用；SDXL 模型需要下載 controlnet-sd-xl-1.0-softedge-dexined.safetensors 模型，安裝到 extensions\sd-webui-controlnet\models 文件夾中。
七、Controlnet 支持多圖像上傳
出于 IP-Adapter 模型學習風格的需要，controlnet 插件現在支持同時上傳多張圖像，只需在上傳圖像時切換至「Multi-inputs」選項，然后點擊 Upload Images 即可。
好啦，以上就是本期為大家總結的 SD WebUI Controlnet 插件最近的更新內容。
Tags:
相關推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內容相關的任何行動之前，請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。
