如何在 Tensor.Art 使用 ControlNet 功能?OpenPose 與 Reference 模型

本文詳述如何在 Tensor.Art 平台上使用 ControlNet 功能,特別針對 OpenPose 和 Reference 模型的應用。文章提供了詳細的操作步驟,幫助用戶有效利用這些模型進行創作。此外,還分享了提升創作效果的實用技巧與建議。

還不會使用 Tansor.Art?先看看教學文章:Tensor Art 教學:目前最推薦的免費網頁版 AI 繪圖工具!

Tensor Art:https://tensor.art/

什麼是ControlNet?

在 Tensor.Art 模型的地方可以添加 ControlNet

Stable Diffusion 的 ControlNet 是一種增強技術,旨在提升生成模型在生成圖像時的控制能力。Stable Diffusion 是一種基於擴散模型的圖像生成技術,能夠從隨機噪聲中逐步生成高品質的圖像。ControlNet 在此基礎上增加了控制機制,使用戶能夠在生成圖像時施加更多的約束和指導,從而生成更符合預期的結果。

ControlNet 透過引入額外的輸入資訊(如草圖、邊緣圖、文字描述等),對擴散過程中的每一步進行引導。這種引導可以幫助模型更好地理解用戶的意圖,從而在生成圖像時更加精確地滿足用戶的需求。具體來說,ControlNet 可以在以下幾個方面提供控制:

  1. 形狀控制:透過輸入草圖或邊緣圖,用戶可以控制生成圖像的基本形狀和結構。
  2. 風格控制:透過輸入參考圖像,用戶可以控制生成圖像的風格,使其與參考圖像相似。
  3. 內容控制:透過輸入文字描述,用戶可以控制生成圖像的內容,使其符合文字描述的內容。

這種控制機制使得生成圖像的過程更加靈活和可控,適用於需要精確圖像生成的各種應用場景,如藝術創作、設計輔助和廣告製作等。

總結來說,ControlNet是一種增強技術,透過引入額外的控制輸入,使生成模型在生成圖像時能夠更加精確地滿足用戶的需求,從而生成更加符合預期的高品質圖像。

在 Tensor.Art 總共有 18 個 ControlNet 模型,根據不同算圖模型,可以使用的 ControlNet 模型數量不一,我們會挑幾個較常使用的介紹並教學,今天先介紹 OpenPose 與 Reference 模型!

OpenPose 模型

有多個 OpenPose 預處理器。

OpenPose 檢測人體關鍵點,例如頭部、肩膀、手部等位置。它可用於複製人體姿勢,而無需複製其他細節,例如服裝、髮型和背景。

所有 openpose 預處理器都需要與 ControlNet 的 Model 下拉功能表中的 openpose 模型一起使用。

OpenPose 預處理器包括:

  • OpenPose:眼睛、鼻子、眼睛、脖子、肩膀、肘部、手腕、膝蓋和腳踝。
  • OpenPose_face:OpenPose + 面部細節
  • OpenPose_hand:OpenPose + 手和手指
  • OpenPose_faceonly:僅面部細節
  • OpenPose_full:以上所有
  • dw_openPose_full:OpenPose_full 的增強版本(使用 Dw OpenPose 提取所有細節。)

OpenPose

OpenPose 是基本的 OpenPose 預處理器,可檢測眼睛、鼻子、眼睛、頸部、肩部、肘部、手腕、膝蓋和腳踝的位置。

OpenPose_face

OpenPose_face 完成 OpenPose 處理器所做的一切,但會檢測額外的面部細節。

它對於複製面部表情很有用。

範例圖像:

OpenPose_faceonly

OpenPose 人臉僅檢測人臉,而不檢測其他關鍵點,這對於僅複製人臉而不適用於其他關鍵點,身體不受約束。

OpenPose_hand

OpenPose_hand 將關鍵點檢測為 OpenPose 以及手和手指。

範例圖片:

結果算是有點差強人意,應該可以再調整一下參數

OpenPose_full

OpenPose full 檢測 openPose face 和 openPose hand 所做的一切。

範例圖像:

效果似乎比剛剛的更好一些!但手指的部分並不完美

dw_openpose_full

DWPose 是一種基於研究文章 Effective Whole-body Pose Estimation with Two-stage Distillation 的新姿態檢測演算法。它完成了與 OpenPose Full 相同的任務,但做得更好。您應該使用 dw_openpose_full 而不是 openpose_full。

DW OpenPose 在檢測手和手指方面做得更好。

Reference 模型

Reference 是一組預處理器,可用於生成與引用圖像類似的圖像,穩定擴散模型和提示仍將影響圖像。

Reference 預處理器不使用控制模型。您只需要選擇預處理器,而不需要選擇模型。(事實上,在選擇參考預處理器后,模型下拉功能表將被隱藏。)

有 3 個引用預處理器。

  1. Reference adain:透過自適應實例規範化進行樣式遷移。
  2. Reference only:將參考圖像直接連結到注意圖層。
  3. Reference adain+attn:上述組合。

選擇其中一個預處理器以使用。以下為範例:

Reference 圖像(圖片來源:https://stable-diffusion-art.com/controlnet/
Prompt:
a woman with pink hair and a robot suit on, with a sci – fi, Artgerm, cyberpunk style, cyberpunk art, retrofuturism

Reference adain

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference only

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference adain+attn

(圖片來源:https://stable-diffusion-art.com/controlnet/

Reference only 的效果感覺最好。

大家可以先去試玩看看這兩個模型唷~!

喜歡這篇文章嗎?

目錄

其他相關文章

學無止盡!再來看看其他教學文章吧!

在 Google I/O 2025 開發者大會上,Google 宣布超過百項 AI 相關創新成果,從 Gemini 2.5 Pro、即時多模態助理 Project Astra,到強化版搜尋體驗與創作者工具,無不展現其重返 AI 領導地位的野心。本文精選 50 項最值得關注的亮點,帶你一次看懂 Google 如何用 AI 改變未來生活與工作模式。
NotebookLM 最近的更新帶來了重大改進,包括擴展到 50 多種語言的多語言支持,以及 Podcast 風格的語音摘要。現在,您可以匯入 YouTube 影片和音訊檔案,以實現簡化的筆記建立和摘要。
OpenAI 最近已在台灣完成稅務登記,這代表其在台灣正式依據現行稅法納管,針對提供給本地用戶的付費數位服務,如 ChatGPT Plus 訂閱,依法開始加收5%的營業稅。