首頁 > AI資訊 > 工具使用 > SDWebUI中也能用上實時繪畫了!支持接入PS/Blender等設計工具

SDWebUI中也能用上實時繪畫了!支持接入PS/Blender等設計工具

新火種    2024-01-23

之前為大家介紹過 AI 繪畫工具 Krea,它可以根據手繪的草圖實時生成完整的畫面,可以讓我們更精準地控制圖像效果,對電商、產品、游戲概念等設計領域來說非常有幫助。之前為大家推薦過一種在 ComfyUI 中免費實現 AI 實時繪畫的方式,今天就再為大家推薦另一種在 Stable Diffusion WebUI 中實現實時繪畫的方法。

一、插件簡介

SD WebUI 的實時繪畫功能需要借助一個插件實現,這個插件是上周由 B 站 AI 繪畫博主@朱尼醬推出,支持文生圖、圖生圖和桌面應用捕捉,操作界面也非常便捷好用,安裝后即可借助 WebUI 的現有資源,在本地免費實現多功能 AI 實時繪畫。

二、安裝方式

由于這款實時繪畫插件是基于 SD WebUI 的,所以使用前大家需要先安裝并掌握 SD WebUI 的基礎用法,沒有掌握的小伙伴看我之前寫的介紹文章,或者了解我最新制作的《零基礎 AI 繪畫入門指南》,系統學習 SD WebUI 的用法。

這里推薦使用秋葉大佬的一鍵整合包,先啟動軟件,在啟動器界面找到「高級選項-啟用 API」,將其轉為開啟模式,然后將「監聽設置」下拉框里的「監聽地址」改為 0.0.0.0,

在當前頁面繼續下拉,找到底部的 「CORS 授權管理」選項,打開后在里面輸入一個 * 號并按 Enter 保存,然后關閉彈窗,此時的 API 的相關設置就完成了?;氐絾悠髦黜?,點擊「一鍵啟動」打開 WebUI 網頁界面,此時網址會顯示為 localhost:7860,表明我們的 API 設置成功了。

然后下載文末網盤鏈接的資源包,先將里面的 ACC_SD15.safetensors 放置到 stable diffusion 根目錄的 models/Lora 文件夾內,這是一個 sd1.5 的 Lcm Lora 模型,可以提升圖像的生成速度。然后解壓 Jizhi_AI 壓縮包(解壓后可以更換一下文件的路徑,讓其不要有中文),找到其中的 Jizhi_AI.exe 程序文件并雙擊啟動,就能看到實時繪畫的界面了。

二、使用簡介

整個實時繪畫的界面非常直觀好用,下面為大家簡單介紹一下它的用法。

1. 文生圖功能

①首先選好大模型(VAE 模型看大模型是否需要),設定好畫面尺寸,然后在提示詞中輸入描述畫面的內容,比如 “masterpiece, best quality, a red cup, 3D pixar, bright light”,反向提示詞填寫常用的即可。

②選取 lora 模型。點擊文本框右上角的 “添加 lora” 選項,從中選取我們之前安裝好的 ACC_SD15.safetensors,調節滑塊設置具體參數,再點擊底部的 “確定” 按鈕將其添加到正向提示詞中。也可以再添加其他已安裝的 lora 模型。

③然后啟用 controlnet 模型,模型的類型按你輸入的內容選擇。如果是直接用畫筆手繪,可以選擇 Scribble/ Sketch,這樣對線稿的精度要求低;如果是已有高精度草圖或者圖像,可以選擇 lineart 或者 depth。

④設置完成后即可在畫板中進行創作了,每次畫板內容的改動都會實時顯示在右側。畫筆可以修改顏色及大??;支持橡皮修改和撤銷操作;重繪幅度可以調整結果圖與原圖的相似程度;如果對單次生成的圖像不滿意,可以點擊底部的刷新小按鈕,再次生成圖像。

⑤除了手繪草圖之外,還可以插入圖像,與手繪草圖結合來引導新圖像的生成。

2. 屏幕捕捉功能

實時繪畫插件中最實用的應該還是屏幕捕捉功能,我們可以將日常使用的 Ps、Ai、Blender、C4D 或者其他軟件的操作界面接入其中,這樣操作起來比其自帶的畫板更方便好用,功能也更多。具體操作方法如下:

①先打開你需要接入的軟件或者網頁;

②設置好實時繪畫的各項基礎生成參數,然后選擇界面頂部的 「屏幕截圖」功能,此時會彈出一個界面,包含各個目前正在運行的軟件,從中選擇你需要的。

③選中軟件后,會有一個紅線框用于設置需要截取的畫面,一般都會將區域局限在畫布之內,然后右下角的 “裁剪” 選項確定范圍。

我在這里接入的是之前為大家推薦過的 AI 3D 工具 Genie。接入后,點擊實時繪畫界面右上角的 「全屏顯示」宣講,將整個窗口拖動懸浮在網頁旁邊,此時隨意調整網頁中 3D 模型的方向或角度,就能在窗口中看到實時渲染的精細圖像(如果覺得渲染時間太長,可適當調低迭代步數。但生成的圖片質量也會有所下降)。

好啦以上就是本期為大家推薦的基于 SD WebUI 的 AI 實時繪畫插件,相關資源都在文末的云盤鏈接內,有需要的小伙伴記得下載~ 喜歡本期推薦的話記得點贊收藏支持一波~


相關推薦
免責聲明
本文所包含的觀點僅代表作者個人看法,不代表新火種的觀點。在新火種上獲取的所有信息均不應被視為投資建議。新火種對本文可能提及或鏈接的任何項目不表示認可。 交易和投資涉及高風險,讀者在采取與本文內容相關的任何行動之前,請務必進行充分的盡職調查。最終的決策應該基于您自己的獨立判斷。新火種不對因依賴本文觀點而產生的任何金錢損失負任何責任。

熱門文章