如何在 Tensor.Art 使用 ControlNet 功能?線稿相關模型

本文介紹如何在 Tensor.Art 平台上使用 ControlNet 功能,專注於線稿相關模型的應用。文章詳細說明了操作步驟,幫助用戶充分利用 ControlNet 進行線稿創作。此外,還提供了實用的技巧和建議,以提升創作效果。

還不會使用 Tansor.Art?先看看教學文章:Tensor Art 教學:目前最推薦的免費網頁版 AI 繪圖工具!

Tensor Art:https://tensor.art/

什麼是ControlNet?

在 Tensor.Art 模型的地方可以添加 ControlNet

Stable Diffusion 的 ControlNet 是一種增強技術,旨在提升生成模型在生成圖像時的控制能力。Stable Diffusion 是一種基於擴散模型的圖像生成技術,能夠從隨機噪聲中逐步生成高品質的圖像。ControlNet 在此基礎上增加了控制機制,使用戶能夠在生成圖像時施加更多的約束和指導,從而生成更符合預期的結果。

ControlNet 透過引入額外的輸入資訊(如草圖、邊緣圖、文字描述等),對擴散過程中的每一步進行引導。這種引導可以幫助模型更好地理解用戶的意圖,從而在生成圖像時更加精確地滿足用戶的需求。具體來說,ControlNet 可以在以下幾個方面提供控制:

  1. 形狀控制:透過輸入草圖或邊緣圖,用戶可以控制生成圖像的基本形狀和結構。
  2. 風格控制:透過輸入參考圖像,用戶可以控制生成圖像的風格,使其與參考圖像相似。
  3. 內容控制:透過輸入文字描述,用戶可以控制生成圖像的內容,使其符合文字描述的內容。

這種控制機制使得生成圖像的過程更加靈活和可控,適用於需要精確圖像生成的各種應用場景,如藝術創作、設計輔助和廣告製作等。

總結來說,ControlNet是一種增強技術,透過引入額外的控制輸入,使生成模型在生成圖像時能夠更加精確地滿足用戶的需求,從而生成更加符合預期的高品質圖像。

線稿的使用場景

在 Tensor.Art 總共有 18 個 ControlNet 模型,根據不同算圖模型,可以使用的 ControlNet 模型數量不一,我們會挑幾個較常使用的介紹並教學,今天要介紹線稿相關的模型,包括:Canny、LineArt 、Scribble、SoftEdge、M-LSD 模型!

  1. 圖像修復和重建:利用邊緣訊息,可以對受損的圖像進行修復,生成與原始圖像風格一致的修復結果。
  2. 風格轉換:通過控制不同的邊緣信號,可以實現圖像風格的轉換,例如從照片風格轉換為素描風格。
  3. 圖像增強:利用邊緣訊息增強圖像細節,使得圖像的邊緣更加清晰,提升圖像質量。
  4. 動畫製作:在動畫製作中,利用邊緣訊息生成更為精細的動畫圖像,減少人工勾邊的工作量。

Canny 模型

Canny 邊緣檢測器是一種通用的老式邊緣檢測器,它提取圖像的輪廓,對於保留原始圖像的構圖很有用。

Canny 模型(圖片來源:https://stable-diffusion-art.com/controlnet/

生成的圖像將遵循輪廓。

Canny 模型生成圖像(圖片來源:https://stable-diffusion-art.com/controlnet/

Lineart 模型

有多個 Lineart 預處理器。

Lineart 渲染圖像的輪廓。它嘗試將其轉換為簡單的繪圖。

  • Line art realistic:寫實風格的線條。
  • Line art coarse:寫實風格的線條,重量較重。
  • Line art standard (from white bg & black line):適合從白底黑線的圖片擷取線條。
Line Art Realistic(圖片來源:https://stable-diffusion-art.com/controlnet/
Line Art Coarse(圖片來源:https://stable-diffusion-art.com/controlnet/

Scribbles 模型

Scribbles 模型可以根據手繪或參考圖片中的塗鴉(草圖)生成精美的圖像,使用者可以在空白畫布上手繪塗鴉,或是提供參考圖片中的塗鴉,再利用提示詞及風格模型製作出圖像。

  • Scribble HED:整體嵌套邊緣檢測 (HED) 是一種邊緣檢測器,擅長像真人一樣生成輪廓。根據 ControlNet 的作者的說法,HED 適用於重新著色和重新設計圖像。
    HED 產生粗糙的塗鴉線條。
  • Scribble Pidinet:圖元差網路 (Pidinet) 檢測曲線和直邊。它的結果類似於HED,但通常會導致線條更清晰,細節更少。
    Pidinet 傾向於產生粗糙的線條,幾乎沒有細節。它非常適合在沒有精細細節的情況下複製電路板輪廓。
  • Scribble xdog:高斯差分 (XDoG) 是一種邊緣檢測方法技術,調整 xDoG 閾值並觀察預處理器輸出非常重要。
    細節級別可以通過調整 XDoG 閾值來控制,使 xDoG 成為用於創建塗鴉的多功能預處理器。

SoftEdge 模型

SoftEdge 模型是 ControlNet 中的一個專門模型,旨在將圖片轉換為柔和的邊緣風格。與其他模型相比,SoftEdge 更加注重圖像的柔和度和自然度,特別適合生成風景和人物等柔和風格的圖片。

SoftEdge 模型包含四種預處理器,根據結果品質排序分別為 SoftEdge_HED、SoftEdge_PIDI、SoftEdge_HED_safe 和 SoftEdge_PIDI_safe。相比於傳統的邊緣檢測模型(如 Canny),SoftEdge 更注重保留圖像細節,提取的線條更加精細且細節豐富。

M-LSD 模型

M-LSD 模型是一個專門用於描繪建築物的模型,主要負責提取建築物的線條結構和幾何形狀,並生成對應的建築線框圖像。與 ControlNet 中的其他模型相比,M-LSD 模型更注重提取和保留建築物的結構和形狀,而較少關注細節和紋理的處理。對於建築或室內設計領域的從業者來說,這個模型非常有用。

表現也相當出色!

ControlNet 提供了多種強大的線稿相關模型,包括 LineArt、 SoftEdge 和 MLSD 等,這些模型能夠在不同的圖像處理和生成場景中發揮重要作用。在 Tensor.Art 平台上使用 ControlNet 功能,您可以輕鬆應用這些模型來生成和編輯各種風格的線稿圖像,無論是柔和風格的風景和人物,還是結構明確的建築物圖像。透過充分利用 ControlNet 的這些功能,您可以更高效地實現創意構想,提升作品的質量和細節。

喜歡這篇文章嗎?

目錄

其他相關文章

學無止盡!再來看看其他教學文章吧!

根據《財富》和《矽谷共和國》報道,2024 年11 月26 日,一群對OpenAI 的Sora 影片 AI 模型進行 Beta 測試的藝術家透過Hugging Face 洩露了對系統的訪問權限,暴露了AI 開發人員和創意專業人士在補償和控制問題上的緊張關係。
Runway最近推出的Act-One功能是一項革命性的AI工具,專為簡化動畫製作過程而設計。
ChatGPT Search 正式推出,開啟了搜尋市場的新篇章。這款由 OpenAI 推出的搜尋引擎,以自然語言交互為特色,提供即時且深度的對話式搜索體驗,相比於傳統搜索工具如 Google,能帶來更具個性化的結果。