如何在 Tensor.Art 使用 ControlNet 功能?色塊相關模型

本文介紹了在 Tensor.Art 平台上如何使用 ControlNet 的色塊相關模型來進行圖像處理和生成。這些模型能夠有效地分割和識別圖像中的不同區域,生成各種風格的色塊圖像,提升創作效率和圖像質量。無論是圖像分割、色塊風格的藝術創作,還是顏色標記,這些工具都能滿足不同的創意需求。

還不會使用 Tansor.Art?先看看教學文章:Tensor Art 教學:目前最推薦的免費網頁版 AI 繪圖工具!

Tensor Art:https://tensor.art/

什麼是ControlNet?

在 Tensor.Art 模型的地方可以添加 ControlNet

Stable Diffusion 的 ControlNet 是一種增強技術,旨在提升生成模型在生成圖像時的控制能力。Stable Diffusion 是一種基於擴散模型的圖像生成技術,能夠從隨機噪聲中逐步生成高品質的圖像。ControlNet 在此基礎上增加了控制機制,使用戶能夠在生成圖像時施加更多的約束和指導,從而生成更符合預期的結果。

ControlNet 透過引入額外的輸入資訊(如草圖、邊緣圖、文字描述等),對擴散過程中的每一步進行引導。這種引導可以幫助模型更好地理解用戶的意圖,從而在生成圖像時更加精確地滿足用戶的需求。具體來說,ControlNet 可以在以下幾個方面提供控制:

  1. 形狀控制:透過輸入草圖或邊緣圖,用戶可以控制生成圖像的基本形狀和結構。
  2. 風格控制:透過輸入參考圖像,用戶可以控制生成圖像的風格,使其與參考圖像相似。
  3. 內容控制:透過輸入文字描述,用戶可以控制生成圖像的內容,使其符合文字描述的內容。

這種控制機制使得生成圖像的過程更加靈活和可控,適用於需要精確圖像生成的各種應用場景,如藝術創作、設計輔助和廣告製作等。

總結來說,ControlNet是一種增強技術,透過引入額外的控制輸入,使生成模型在生成圖像時能夠更加精確地滿足用戶的需求,從而生成更加符合預期的高品質圖像。

在 Tensor.Art 總共有 18 個 ControlNet 模型,根據不同算圖模型,可以使用的 ControlNet 模型數量不一,我們會挑幾個較常使用的介紹並教學,今天將介紹色塊相關的模型,包括:Depth、Segmentation 模型!

Depth 模型

Depth 模型的優點在於其能夠捕捉圖像中物體的深度資訊,使圖片呈現出更強的立體感,而不僅僅是平面的圖像。相比之下,ControlNet 中還有其他類似的模型,例如 Normal 模型專注於生成法向量圖像,Openpose 模型則擅長生成和識別人體姿勢圖像。然而,Depth 模型更專注於提取和保留圖像的深度資訊,而較少關注細節和紋理的處理。

  • Depth Midas:經典的深度估計器。也用於官方 v2 圖像深度模型。
  • Depth Leres:更多細節,但也傾向於渲染背景。
  • Depth Leres++:更多細節。
  • Depth Zoe:細節水準介於Midas和Leres之間。

Depth Midas

範例圖像:

SDXL模型+Prompt: a woman retrofuturism

Depth Leres

範例圖像:

SDXL模型+Prompt: a woman retrofuturism

Depth Leres++

範例圖像:

SDXL模型+Prompt: a woman retrofuturism

Depth Zoe

範例圖像:

SDXL模型+Prompt: a woman retrofuturism

可以比較上面的各個模型,選擇最適合的去使用!

Segmentation

Segmentation 模型是 ControlNet 中的一種模型,主要用於對圖像進行分割,即標記和區分圖像中的不同區域。它能夠有效地將圖像中的各個物體或區域分開,從而方便後續的處理和應用。使用 Segmentation 模型時,需要根據不同需求選擇適當的參數設置以達到理想效果。與 ControlNet 中的其他模型相比,Segmentation 模型更專注於圖像中物體或區域的分割和識別,而較少關注細節和紋理的處理。

建築物、天空、樹木、人物和人行道都標有不同的預定義顏色。(可以在下方的範例中查看)

您可以在 ufade20k 和 ofade20k 的顏色映射表中找到物件類別和顏色。

有幾個細分選項:

  • ufade20k:在 ADE20K 數據集上訓練的 UniFormer (uf) 分割。
  • ofade20k:在 ADE20k 數據集上訓練的 OneFormer (of) 分割。
  • ofcoco:在 COCO 數據集上訓練的 OnFormer 分割。

ufade20k

範例圖像:

Burrata Pastels Mix – 1.0模型+Prompt: Futuristic city, tree, buildings, cyberpunk

ofade20k

範例圖像:

Burrata Pastels Mix – 1.0模型+Prompt: Futuristic city, tree, buildings, cyberpunk

ofcoco

範例圖像:

Burrata Pastels Mix – 1.0模型+Prompt: Futuristic city, tree, buildings, cyberpunk

分割是一種強大的技術。您可以進一步操作分割貼圖,將物件放置在精確的位置。使用 ADE20k 的顏色映射表。

總結來說,ControlNet 提供了一系列功能強大的色塊相關模型,這些模型能夠在不同的圖像處理和生成場景中發揮重要作用。在 Tensor.Art 平台上使用 ControlNet 功能,您可以輕鬆應用這些模型來生成和編輯各種風格的色塊圖像。無論是進行圖像分割、生成色塊風格的藝術作品,還是進行顏色標記和區域識別,這些模型都能夠滿足您的需求,提升創作效率和圖像質量。通過充分利用 ControlNet 的色塊相關功能,您可以實現更豐富的創意表達,創作出更具視覺衝擊力的作品。

喜歡這篇文章嗎?

目錄

其他相關文章

學無止盡!再來看看其他教學文章吧!

想學程式卻被複雜的環境設定與除錯搞瘋了嗎?這篇教學專為 AI 初學者設計,我們會帶你從零完成安裝,讓你理解如何透過指令,就像在跟朋友聊天一樣,請 Claude 直接在你的電腦上修 Bug、寫測試。看完這篇,你將不再對程式感到焦慮,而是學會如何跟這位最強 AI 助理協作,輕鬆搞定開發大小事。
看到 AI 畫出的字總是亂碼讓你心煩嗎?Ideogram 3.0 正式登場,這次它不只提升了畫質,更強化了文字生成的準確度與排版美感。這篇文章將帶你釐清 Ideogram 3.0 的新功能,包含能動手修改細節的 Canvas 工具,並透過實測告訴你它適合解決哪些工作痛點。
覺得 AI 只能寫文章?這篇將帶你認識 OpenClaw,一個能讓 AI 像真人一樣操作電腦、點擊網頁的開源工具。我們參考李宏毅老師的教學,用白話解構 OpenClaw 的運作原理:從它如何獲得靈魂,到如何利用「心跳機制」自主運作。看完這篇,你會發現自動化處理雜事不再是工程師的專利,大幅降低你對新技術的學習焦慮。