新火種
2023-09-19 
深度解析！如何用StableDiffusion實現(xiàn)模特精準換裝？
來了來了，之前給大家承諾的模特換裝教程它來了！本篇教程主要運用 StableDiffusion 這個工具來進行操作，下面會通過幾個小案例，給大家展示不同需求下，我們該如何使用 StableDiffusion 來輔助我們完成服裝效果展示。本教程適用于電商設計場景、攝影場景等多個運用人物設計的實戰(zhàn)中，全程干貨，需要大家慢慢吸收，學會后輕松拿捏模特換裝，let’s go！
二、更換模特1. 不一樣的設計需求！
換個不一樣的需求單，簡單粗暴，直達靈魂最深處（本篇文章隨性而為）
2. 前期準備
老樣子，我們先把模型以及素材準備好：
Stable Diffusion 模型：majicMIX realistic 麥橘寫實_v6controlnet 插件模型以及黑白蒙版圖在大模型選擇上，大家可以靈活點，用上一些主流的寫實模型即可：
Controlnet 插件一般用活菩薩秋葉的啟動包就會自帶，不過模型需要自己安裝一下，在往期文章我有專門介紹過 Controlnet 的插件安裝教程以及模型的下載方式，此處不多做說明。
準備一張黑白蒙版圖片，注意以下幾點：
用 PS 把“假人模特”部分填充黑色（即后續(xù)需要生成真人模特部分）等比縮放尺寸（與原圖比例一致），把這張圖片的尺寸縮小，方便后續(xù)的操作；白色區(qū)域為蒙版內(nèi)容，黑色為非蒙版內(nèi)容（SD 內(nèi)的蒙版原理）
3. 關(guān)鍵詞描述
正向關(guān)鍵詞：
Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,long hair,最佳質(zhì)量，杰作，超高分辨率，(逼真度:1.4)，原始照片，1 個女孩，長發(fā)，
反向關(guān)鍵詞（通用關(guān)鍵詞，哪哪都可用）：
(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,
4. 圖生圖-上傳重繪蒙版
重點來了，本案例的核心部分，就是使用圖生圖的「重繪蒙版」來進行模特的重新繪制。
如圖所示，選擇「圖生圖」，把上述的模型以及關(guān)鍵詞加上，點擊「上傳重繪蒙版」，上傳原圖及蒙版圖。
注意：原圖及蒙版圖尺寸要一致哦~
下面的參數(shù)直接抄作業(yè)即可，說幾個重點參數(shù)：
蒙版邊緣模糊度需要調(diào)整為 0，這個參數(shù)類似于 PS 的羽化，把蒙版邊緣進行模糊度處理。這里我用 ps 經(jīng)過精準的摳圖繪制成蒙版，所以不需要這個參數(shù)起作用，不然邊緣會有原圖的灰色在里面；蒙版模式設置為「重繪非蒙版內(nèi)容」，前面說過白色區(qū)域為蒙版內(nèi)容，黑色為非蒙版內(nèi)容，大家靈活往里面帶入，黑白是可以切換的，后續(xù)調(diào)整「蒙版模式」即可；重繪倍數(shù)選擇 2 倍放大，我測試 1 倍圖生成的效果不好，后期調(diào)整區(qū)間很大；「重繪幅度」為 0.5，太高會生成的亂七八糟。
5. 初步跑圖（批量）
把上述的參數(shù)調(diào)整好了之后，我們就可以進行初步的跑圖了，可以調(diào)整總批次數(shù)量（顯卡一般的控制在 4 左右）。
到這一步基本上就差不多了，挑選一張相對滿意的圖片，可以進行細節(jié)上的優(yōu)化，比如手部及臉部等。
6. 局部重繪細節(jié)處
把選中的圖片上傳到「局部重繪」中，用畫筆涂抹需要修改的地方，把下方的蒙版模式改為「重繪蒙版內(nèi)容」，點擊生成即可。
可以重復多次使用局部重繪功能，把臉部和手部分開重繪，效率會更高點，同時，也可以通過修改正向關(guān)鍵詞，來重繪涂抹地方，比如加上長發(fā)等等。
這個案例就說到這里，后期還有優(yōu)化空間，大家會這個操作方法才是本次案例的核心，來看看對比吧~
上一個案例我們是 ps 手動繪制蒙版的，有沒有自動且更便捷的方式呢，當然有，就是使用這個「inpaint anything 插件」：
使用 Segment Anything，用戶可以通過簡單地指向所需區(qū)域來指定蒙版，而不是手動填充它們。這可以提高蒙版創(chuàng)建過程的效率和準確性，從而可能獲得更高質(zhì)量的修復結(jié)果，同時節(jié)省時間和精力。
1. inpaint anything 安裝
插件安裝方法一直都是如此，相信看到本篇教程的你也絕不是小白了，我就簡單帶過，另一種方法可以通過網(wǎng)址下載： https://github.com/Uminosachi/sd-webui-inpaint-anything
安裝完成后刷新「web-ui」即可看到這個插件，之后下載模型，這個插件就不做詳細介紹，看操作路徑即可。
2. 生成蒙版圖
先準備一張模特圖片，上傳到「Input image」中，點擊運行。
如圖所示，右側(cè)會出現(xiàn)「語義分割色塊圖」，按照下方步驟操作。
說明一下：我們選中的區(qū)域，它會給我們在下方高亮顯示，選中的部分在后面會給我們生成黑白遮罩圖。
之后在左側(cè)找到以下的選項，按步驟操作，你就會得到一張蒙版圖，最后發(fā)送到圖生圖中~
后面的操作是不是很熟悉了，就是第一個案例的操作，這個插件就是為我們生成蒙版圖。
3. 換個模特吧
回到圖生圖，模型及關(guān)鍵詞用第一個案例的，無需做出任何改動，下方的參數(shù)也不需要動，只需要把尺寸調(diào)整下，與上傳圖片的尺寸一致即可。
搞定了，就這么簡單，有問題的地方發(fā)送到「局部重繪」中，修正調(diào)整即可。
來看一下對比：
我們還可以擴展一下，只能換人嗎？我們換個衣服試試。
4. 換件衣服吧
上面是保持衣服不變，更換人物。生圖原理就是利用圖生圖蒙版功能，大家應該知道怎么做了吧，我們只需要把蒙版模型改動一下即可。
我們先把正向關(guān)鍵詞改動下吧，把關(guān)于人物的描述刪掉，更換成「yellow clothes」黃色衣服試試：
Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,(((yellow clothes))),
下面參數(shù)有兩個點需要注意：
蒙版模式改為「重繪蒙版內(nèi)容」；重繪幅度調(diào)大一點，之前是 0.5，現(xiàn)在我們改成 0.7，不然衣服顏色是黃色+紅色相結(jié)合的顏色。
然后生成一批圖試試~先埋個坑，哈哈哈！
怎么樣，還可以吧，是不是發(fā)現(xiàn)這動作不對，胳膊亂飛~那咱們就繼續(xù)往下看。
5. Openpose 姿勢控制
其實大家做圖的時候要靈活運用功能，就上述生成的姿勢是有問題的，解決這個問題方法就可以用 openpose，提取原圖的姿態(tài)。
使用方法如下圖，沒什么難度，抄作業(yè)即可。
再次生成，模特的姿勢就成功的還原了，很完美！可以通過修改關(guān)鍵詞來調(diào)整衣服的顏色以及款式，完事~
換個一個場景，上面兩個案例都是有模特的素材，如果沒有模特只有一件服裝可以生成模特圖嗎，也是可以的，我們往下看：
1. 準備素材
當我們有一張服裝圖時，還需要準備兩張應用在 stablediffusion 的素材圖：
一張服裝白底圖（應用在 controlnet 上）；黑白蒙版圖（應用在重繪蒙版上）。注：黑白蒙版圖可以用上面提到的插件做哦，別忘記用了。
2. 安裝 3D 骨架模型編輯 (3D Openpose)
先說下思路，當我們只有服裝時，我們需要在服裝基礎上創(chuàng)建一個人物，stablediffusion 是無法精準的基于服裝生成人物，所以我們需要使用「3D Openpose」這個插件來創(chuàng)建一個人物骨架圖，然后運用「controlnnet」插件來精準控圖。
安裝插件跟上面一樣，在擴展中安裝即可，如果擴展安裝不了那就是用本地安裝，網(wǎng)址在這：https://github.com/nonnonstop/sd-webui-3d-open-pose-editor/tree/main
安裝完成后，重啟「web-ui」即可在這看到「3D Openpose」，關(guān)于這個怎么用很簡單，大家嘗試著用用，熟悉一下即可（我個人覺得不是很好操作）
3. 創(chuàng)建人物骨骼圖
進入到「3D Openpose」，把原圖放進來，然后調(diào)整骨架與圖片的對應位置，可以根據(jù)自己的想法調(diào)整骨架姿勢，需要多嘗試用幾遍。注意：圖片尺寸一定要設置好，一定！
調(diào)整完之后，點擊「生成」，點擊「發(fā)送到 controlnet」，點擊「發(fā)送到圖生圖」即可。
注意：基于寫本篇教程的 sd 版本，我們需要先到「圖生圖」模塊把 controlnet 先勾選啟用，發(fā)送才有效！
4. 設置 controlnet 及重繪蒙版
回到「圖生圖」的 controlnet 中，我們需要使用兩個 controlnet 插件，第一個就是「openpose」，其次是「canny」。
「openpose」只需選擇該模型即可，預處理器不用選擇；「canny」目的是控制服裝邊緣，上傳前面準備的白底圖，如果你前面蒙版圖沒有摳細致，這一步很重要。
重繪蒙版與前面兩個案例一樣，包括模型與關(guān)鍵詞，一模一樣即可。
5. 跑圖完成
上述參數(shù)設置完成后，跑圖即可，剩下的細節(jié)之處本教程就不做演示了，與第一個案例一樣，細節(jié)之處有問題的地方使用「局部重繪」修正即可，或者是 PS 處理下（話說 PS Beta 好像不能用了）
怎么樣，應該都看會了吧
本教程詳細介紹了如何使用 StableDiffusion 實現(xiàn)模特精準換裝以及換模特。通過幾個實際案例，展示了 StableDiffusion 在不同場景下的應用，通過學習本教程，您可以輕松掌握模特換裝的技巧，提高工作效率。
Tags:
相關(guān)推薦
- 免責聲明
- 本文所包含的觀點僅代表作者個人看法，不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險，讀者在采取與本文內(nèi)容相關(guān)的任何行動之前，請務必進行充分的盡職調(diào)查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產(chǎn)生的任何金錢損失負任何責任。
