如何在 Tensor.Art 使用 ControlNet 功能?OpenPose 與 Reference 模型

本文詳述如何在 Tensor.Art 平台上使用 ControlNet 功能,特別針對 OpenPose 和 Reference 模型的應用。文章提供了詳細的操作步驟,幫助用戶有效利用這些模型進行創作。此外,還分享了提升創作效果的實用技巧與建議。

還不會使用 Tansor.Art?先看看教學文章:Tensor Art 教學:目前最推薦的免費網頁版 AI 繪圖工具!

Tensor Art:https://tensor.art/

什麼是ControlNet?

在 Tensor.Art 模型的地方可以添加 ControlNet

Stable Diffusion 的 ControlNet 是一種增強技術,旨在提升生成模型在生成圖像時的控制能力。Stable Diffusion 是一種基於擴散模型的圖像生成技術,能夠從隨機噪聲中逐步生成高品質的圖像。ControlNet 在此基礎上增加了控制機制,使用戶能夠在生成圖像時施加更多的約束和指導,從而生成更符合預期的結果。

ControlNet 透過引入額外的輸入資訊(如草圖、邊緣圖、文字描述等),對擴散過程中的每一步進行引導。這種引導可以幫助模型更好地理解用戶的意圖,從而在生成圖像時更加精確地滿足用戶的需求。具體來說,ControlNet 可以在以下幾個方面提供控制:

  1. 形狀控制:透過輸入草圖或邊緣圖,用戶可以控制生成圖像的基本形狀和結構。
  2. 風格控制:透過輸入參考圖像,用戶可以控制生成圖像的風格,使其與參考圖像相似。
  3. 內容控制:透過輸入文字描述,用戶可以控制生成圖像的內容,使其符合文字描述的內容。

這種控制機制使得生成圖像的過程更加靈活和可控,適用於需要精確圖像生成的各種應用場景,如藝術創作、設計輔助和廣告製作等。

總結來說,ControlNet是一種增強技術,透過引入額外的控制輸入,使生成模型在生成圖像時能夠更加精確地滿足用戶的需求,從而生成更加符合預期的高品質圖像。

在 Tensor.Art 總共有 18 個 ControlNet 模型,根據不同算圖模型,可以使用的 ControlNet 模型數量不一,我們會挑幾個較常使用的介紹並教學,今天先介紹 OpenPose 與 Reference 模型!

OpenPose 模型

有多個 OpenPose 預處理器。

OpenPose 檢測人體關鍵點,例如頭部、肩膀、手部等位置。它可用於複製人體姿勢,而無需複製其他細節,例如服裝、髮型和背景。

所有 openpose 預處理器都需要與 ControlNet 的 Model 下拉功能表中的 openpose 模型一起使用。

OpenPose 預處理器包括:

  • OpenPose:眼睛、鼻子、眼睛、脖子、肩膀、肘部、手腕、膝蓋和腳踝。
  • OpenPose_face:OpenPose + 面部細節
  • OpenPose_hand:OpenPose + 手和手指
  • OpenPose_faceonly:僅面部細節
  • OpenPose_full:以上所有
  • dw_openPose_full:OpenPose_full 的增強版本(使用 Dw OpenPose 提取所有細節。)

OpenPose

OpenPose 是基本的 OpenPose 預處理器,可檢測眼睛、鼻子、眼睛、頸部、肩部、肘部、手腕、膝蓋和腳踝的位置。

OpenPose_face

OpenPose_face 完成 OpenPose 處理器所做的一切,但會檢測額外的面部細節。

它對於複製面部表情很有用。

範例圖像:

OpenPose_faceonly

OpenPose 人臉僅檢測人臉,而不檢測其他關鍵點,這對於僅複製人臉而不適用於其他關鍵點,身體不受約束。

OpenPose_hand

OpenPose_hand 將關鍵點檢測為 OpenPose 以及手和手指。

範例圖片:

結果算是有點差強人意,應該可以再調整一下參數

OpenPose_full

OpenPose full 檢測 openPose face 和 openPose hand 所做的一切。

範例圖像:

效果似乎比剛剛的更好一些!但手指的部分並不完美

dw_openpose_full

DWPose 是一種基於研究文章 Effective Whole-body Pose Estimation with Two-stage Distillation 的新姿態檢測演算法。它完成了與 OpenPose Full 相同的任務,但做得更好。您應該使用 dw_openpose_full 而不是 openpose_full。

DW OpenPose 在檢測手和手指方面做得更好。

Reference 模型

Reference 是一組預處理器,可用於生成與引用圖像類似的圖像,穩定擴散模型和提示仍將影響圖像。

Reference 預處理器不使用控制模型。您只需要選擇預處理器,而不需要選擇模型。(事實上,在選擇參考預處理器后,模型下拉功能表將被隱藏。)

有 3 個引用預處理器。

  1. Reference adain:透過自適應實例規範化進行樣式遷移。
  2. Reference only:將參考圖像直接連結到注意圖層。
  3. Reference adain+attn:上述組合。

選擇其中一個預處理器以使用。以下為範例:

Reference 圖像(圖片來源:https://stable-diffusion-art.com/controlnet/
Prompt:
a woman with pink hair and a robot suit on, with a sci – fi, Artgerm, cyberpunk style, cyberpunk art, retrofuturism

Reference adain

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference only

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference adain+attn

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference only 的效果感覺最好。

大家可以先去試玩看看這兩個模型唷~!

喜歡這篇文章嗎?

目錄

其他相關文章

學無止盡!再來看看其他教學文章吧!

ChatGPT Search 正式推出,開啟了搜尋市場的新篇章。這款由 OpenAI 推出的搜尋引擎,以自然語言交互為特色,提供即時且深度的對話式搜索體驗,相比於傳統搜索工具如 Google,能帶來更具個性化的結果。透過即時從網絡獲取最新資訊,ChatGPT Search 展現了 AI 驅動搜索的潛力,可能對既有市場格局產生影響,成為用戶搜尋的全新選擇。
Genmo AI 正式推出 Mochi 1 影片生成模型,為生成式 AI 領域帶來突破性創新。Mochi 1 以其強大的影片生成能力,能夠快速創建高品質影片內容,讓創作者和設計師在視覺設計中更具效率與創意。此模型的推出標誌著 Genmo AI 在 AI 影片生成領域的新里程碑,提供了豐富的工具與靈活的創作選項。
Suno AI 是一個創新的音樂生成平台,利用人工智慧技術將文字提示轉化為原創歌曲。這個工具的設計旨在使音樂創作變得更加容易和普遍可及,無論用戶的音樂背景如何,都能夠輕鬆創作出獨特的音樂作品。