還不會使用 Tansor.Art?先看看教學文章:Tensor Art 教學:目前最推薦的免費網頁版 AI 繪圖工具!
Tensor Art:https://tensor.art/
什麼是ControlNet?
Stable Diffusion 的 ControlNet 是一種增強技術,旨在提升生成模型在生成圖像時的控制能力。Stable Diffusion 是一種基於擴散模型的圖像生成技術,能夠從隨機噪聲中逐步生成高品質的圖像。ControlNet 在此基礎上增加了控制機制,使用戶能夠在生成圖像時施加更多的約束和指導,從而生成更符合預期的結果。
ControlNet 透過引入額外的輸入資訊(如草圖、邊緣圖、文字描述等),對擴散過程中的每一步進行引導。這種引導可以幫助模型更好地理解用戶的意圖,從而在生成圖像時更加精確地滿足用戶的需求。具體來說,ControlNet 可以在以下幾個方面提供控制:
- 形狀控制:透過輸入草圖或邊緣圖,用戶可以控制生成圖像的基本形狀和結構。
- 風格控制:透過輸入參考圖像,用戶可以控制生成圖像的風格,使其與參考圖像相似。
- 內容控制:透過輸入文字描述,用戶可以控制生成圖像的內容,使其符合文字描述的內容。
這種控制機制使得生成圖像的過程更加靈活和可控,適用於需要精確圖像生成的各種應用場景,如藝術創作、設計輔助和廣告製作等。
總結來說,ControlNet是一種增強技術,透過引入額外的控制輸入,使生成模型在生成圖像時能夠更加精確地滿足用戶的需求,從而生成更加符合預期的高品質圖像。
在 Tensor.Art 總共有 18 個 ControlNet 模型,根據不同算圖模型,可以使用的 ControlNet 模型數量不一,我們會挑幾個較常使用的介紹並教學,今天將介紹色塊相關的模型,包括:Depth、Segmentation 模型!
Depth 模型
Depth 模型的優點在於其能夠捕捉圖像中物體的深度資訊,使圖片呈現出更強的立體感,而不僅僅是平面的圖像。相比之下,ControlNet 中還有其他類似的模型,例如 Normal 模型專注於生成法向量圖像,Openpose 模型則擅長生成和識別人體姿勢圖像。然而,Depth 模型更專注於提取和保留圖像的深度資訊,而較少關注細節和紋理的處理。
- Depth Midas:經典的深度估計器。也用於官方 v2 圖像深度模型。
- Depth Leres:更多細節,但也傾向於渲染背景。
- Depth Leres++:更多細節。
- Depth Zoe:細節水準介於Midas和Leres之間。
Depth Midas
範例圖像:
Depth Leres
範例圖像:
Depth Leres++
範例圖像:
Depth Zoe
範例圖像:
可以比較上面的各個模型,選擇最適合的去使用!
Segmentation
Segmentation 模型是 ControlNet 中的一種模型,主要用於對圖像進行分割,即標記和區分圖像中的不同區域。它能夠有效地將圖像中的各個物體或區域分開,從而方便後續的處理和應用。使用 Segmentation 模型時,需要根據不同需求選擇適當的參數設置以達到理想效果。與 ControlNet 中的其他模型相比,Segmentation 模型更專注於圖像中物體或區域的分割和識別,而較少關注細節和紋理的處理。
建築物、天空、樹木、人物和人行道都標有不同的預定義顏色。(可以在下方的範例中查看)
您可以在 ufade20k 和 ofade20k 的顏色映射表中找到物件類別和顏色。
有幾個細分選項:
- ufade20k:在 ADE20K 數據集上訓練的 UniFormer (uf) 分割。
- ofade20k:在 ADE20k 數據集上訓練的 OneFormer (of) 分割。
- ofcoco:在 COCO 數據集上訓練的 OnFormer 分割。
ufade20k
範例圖像:
ofade20k
範例圖像:
ofcoco
範例圖像:
分割是一種強大的技術。您可以進一步操作分割貼圖,將物件放置在精確的位置。使用 ADE20k 的顏色映射表。
總結來說,ControlNet 提供了一系列功能強大的色塊相關模型,這些模型能夠在不同的圖像處理和生成場景中發揮重要作用。在 Tensor.Art 平台上使用 ControlNet 功能,您可以輕鬆應用這些模型來生成和編輯各種風格的色塊圖像。無論是進行圖像分割、生成色塊風格的藝術作品,還是進行顏色標記和區域識別,這些模型都能夠滿足您的需求,提升創作效率和圖像質量。通過充分利用 ControlNet 的色塊相關功能,您可以實現更豐富的創意表達,創作出更具視覺衝擊力的作品。