還不會使用 Tansor.Art?先看看教學文章:Tensor Art 教學:目前最推薦的免費網頁版 AI 繪圖工具!
Tensor Art:https://tensor.art/
什麼是ControlNet?
Stable Diffusion 的 ControlNet 是一種增強技術,旨在提升生成模型在生成圖像時的控制能力。Stable Diffusion 是一種基於擴散模型的圖像生成技術,能夠從隨機噪聲中逐步生成高品質的圖像。ControlNet 在此基礎上增加了控制機制,使用戶能夠在生成圖像時施加更多的約束和指導,從而生成更符合預期的結果。
ControlNet 透過引入額外的輸入資訊(如草圖、邊緣圖、文字描述等),對擴散過程中的每一步進行引導。這種引導可以幫助模型更好地理解用戶的意圖,從而在生成圖像時更加精確地滿足用戶的需求。具體來說,ControlNet 可以在以下幾個方面提供控制:
- 形狀控制:透過輸入草圖或邊緣圖,用戶可以控制生成圖像的基本形狀和結構。
- 風格控制:透過輸入參考圖像,用戶可以控制生成圖像的風格,使其與參考圖像相似。
- 內容控制:透過輸入文字描述,用戶可以控制生成圖像的內容,使其符合文字描述的內容。
這種控制機制使得生成圖像的過程更加靈活和可控,適用於需要精確圖像生成的各種應用場景,如藝術創作、設計輔助和廣告製作等。
總結來說,ControlNet是一種增強技術,透過引入額外的控制輸入,使生成模型在生成圖像時能夠更加精確地滿足用戶的需求,從而生成更加符合預期的高品質圖像。
線稿的使用場景
在 Tensor.Art 總共有 18 個 ControlNet 模型,根據不同算圖模型,可以使用的 ControlNet 模型數量不一,我們會挑幾個較常使用的介紹並教學,今天要介紹線稿相關的模型,包括:Canny、LineArt 、Scribble、SoftEdge、M-LSD 模型!
- 圖像修復和重建:利用邊緣訊息,可以對受損的圖像進行修復,生成與原始圖像風格一致的修復結果。
- 風格轉換:通過控制不同的邊緣信號,可以實現圖像風格的轉換,例如從照片風格轉換為素描風格。
- 圖像增強:利用邊緣訊息增強圖像細節,使得圖像的邊緣更加清晰,提升圖像質量。
- 動畫製作:在動畫製作中,利用邊緣訊息生成更為精細的動畫圖像,減少人工勾邊的工作量。
Canny 模型
Canny 邊緣檢測器是一種通用的老式邊緣檢測器,它提取圖像的輪廓,對於保留原始圖像的構圖很有用。
生成的圖像將遵循輪廓。
Lineart 模型
有多個 Lineart 預處理器。
Lineart 渲染圖像的輪廓。它嘗試將其轉換為簡單的繪圖。
- Line art realistic:寫實風格的線條。
- Line art coarse:寫實風格的線條,重量較重。
- Line art standard (from white bg & black line):適合從白底黑線的圖片擷取線條。
Scribbles 模型
Scribbles 模型可以根據手繪或參考圖片中的塗鴉(草圖)生成精美的圖像,使用者可以在空白畫布上手繪塗鴉,或是提供參考圖片中的塗鴉,再利用提示詞及風格模型製作出圖像。
- Scribble HED:整體嵌套邊緣檢測 (HED) 是一種邊緣檢測器,擅長像真人一樣生成輪廓。根據 ControlNet 的作者的說法,HED 適用於重新著色和重新設計圖像。
HED 產生粗糙的塗鴉線條。 - Scribble Pidinet:圖元差網路 (Pidinet) 檢測曲線和直邊。它的結果類似於HED,但通常會導致線條更清晰,細節更少。
Pidinet 傾向於產生粗糙的線條,幾乎沒有細節。它非常適合在沒有精細細節的情況下複製電路板輪廓。 - Scribble xdog:高斯差分 (XDoG) 是一種邊緣檢測方法技術,調整 xDoG 閾值並觀察預處理器輸出非常重要。
細節級別可以通過調整 XDoG 閾值來控制,使 xDoG 成為用於創建塗鴉的多功能預處理器。
SoftEdge 模型
SoftEdge 模型是 ControlNet 中的一個專門模型,旨在將圖片轉換為柔和的邊緣風格。與其他模型相比,SoftEdge 更加注重圖像的柔和度和自然度,特別適合生成風景和人物等柔和風格的圖片。
SoftEdge 模型包含四種預處理器,根據結果品質排序分別為 SoftEdge_HED、SoftEdge_PIDI、SoftEdge_HED_safe 和 SoftEdge_PIDI_safe。相比於傳統的邊緣檢測模型(如 Canny),SoftEdge 更注重保留圖像細節,提取的線條更加精細且細節豐富。
M-LSD 模型
M-LSD 模型是一個專門用於描繪建築物的模型,主要負責提取建築物的線條結構和幾何形狀,並生成對應的建築線框圖像。與 ControlNet 中的其他模型相比,M-LSD 模型更注重提取和保留建築物的結構和形狀,而較少關注細節和紋理的處理。對於建築或室內設計領域的從業者來說,這個模型非常有用。
表現也相當出色!
ControlNet 提供了多種強大的線稿相關模型,包括 LineArt、 SoftEdge 和 MLSD 等,這些模型能夠在不同的圖像處理和生成場景中發揮重要作用。在 Tensor.Art 平台上使用 ControlNet 功能,您可以輕鬆應用這些模型來生成和編輯各種風格的線稿圖像,無論是柔和風格的風景和人物,還是結構明確的建築物圖像。透過充分利用 ControlNet 的這些功能,您可以更高效地實現創意構想,提升作品的質量和細節。