Controlnet测評

ControlNet要上天！！😍😍😍😍越来越好用了！！🚀🚀🚀作為Stable Diffusion重要的插件之一，Controlnet已經不能称之為重要功能了，越来越成為主要功能。离開ControlNet很多功能已經無法實现，而且CN的很多功能已經覆蓋了SD的原生功能，是不是要上天！💪💪💪

这个節奏下去🔥🔥🔥，做一个CN為核心的流程的webui，也不是不可能了。

作者Mikubill本次帶来的重大更新，V1.1.173🆕🆕
【Reference-Only Control】
竟然都不需要model模型了，💥💥💥只需要更新插件到最新版本，在preprocess中選择reference-only即可体验。

本次更新与SD圖生圖的功能有一定相似性，但是解决了SD原生功能可能会產生崩坏情况。

【Reference-Only】VS【原生圖生圖】
原生更多参考的是原圖風格和顏色，🎨根据重繪幅度来控制生成圖片的相似度，重繪幅度过低可完全一致，过高可能相差甚遠

【原生圖生圖】高阶玩法：
想参照原圖A，生成圖片，原生功能比較麻烦：
把原圖A和一張同尺寸的白色圖拼接，使用inpaint功能，涂黑白色圖，这样可以基于原圖A生成类似的圖片，但是容易崩坏，而且麻烦。

【Reference-Only 】极大简化了墊圖的流程，类似MJ的墊圖，又在各种方面更可控，搭配Multi Controlnet简直不要太爽！！！💯💯💯

ControlNet精准控制AI繪画教程 🎨

近年来，AI繪画技術逐漸走进我们的生活，催生出了一系列令人驚艳的艺術作品。然而，要让AI繪画生成完美滿意的圖像，却并非易事。多次尝試和调整關键词，有时仍难以實现预期效果。这一直是AI繪画领域的难点所在。

然而，在最近，一款名為”ControlNet”的AI繪画插件应運而生，几乎完美解决了上述問题，让AI繪画的痛点成為往事。ControlNet插件具備精准控制画面的能力，使得生成的繪画作品如同指尖舞动的奇跡。

ControlNet的繪画模式非常简單。用户先提供一張参考圖，然后插件会根据这張圖使用特定的處理模式，生成一張新的预處理圖。接着，AI便会根据这两幅圖进行繪制，創作出一幅完美的繪画作品。当然，用户也可以選择關闭预處理功能，直接將用户自己處理好的圖片作為预處理圖，AI繪制的結果將更贴近用户的期望。

让我们以四位美少女的例子来說明ControlNet的神奇之處。原本，这是一張四个闺蜜在沙滩邊拍攝的普通合影照。但在ControlNet的加持下，这張照片瞬间發生了驚人的變化，仿佛来到了一个唯美的动漫世界。不仅仅是画風上的變化，連人物的姿势都保持了原汁原味。这四位美女们仿佛一下子實现了自由穿梭于动漫世界之中的夢想。

📷 圖片展示：(插入美少女的emoji表情)

正是ControlNet為AI繪画的發展提供了全新的解决方案。它不仅仅是一款普通的插件，更是给用户帶来了無限的創作可能性。無論是追求动漫風格，还是其他風格，ControlNet都能够准确捕捉用户需求，并生成對应的繪画作品。

對于熱愛艺術的人来說，ControlNet將是一种不可或缺的工具。它不仅仅提供了便捷的操作方式，更透過精准控制AI繪画的过程，让用户能够参与到艺術創作的全过程中。

总結起来，ControlNet是一款能够精准控制AI繪画的插件，它改變了AI繪画的痛点，提供了更多創作可能性，让用户能够轻松實现自己心中的艺術夢想。無論是追求动漫風，还是其他風格，ControlNet都能够滿足你的需求，让你的繪画作品變得更加出彩！

如果你對AI繪画感興趣，不妨一試ControlNet插件，相信它会给你帶来驚喜。让我们一起探索AI繪画的無限可能吧！✍️

ControlNet 安装教程

ControlNet 和其他基于注入的 SD 控件的 WebUI 擴展。

此擴展适用于 AUTOMATIC1111 的穩定擴散 Web UI，允許 Web UI 將ControlNet添加到原始穩定擴散模型以生成圖像。添加是即时的，不需要合并。

安装

1. 打開“擴展”選项卡。
2. 在選项卡中打開“从 URL 安装”選项卡。
3. 输入https://github.com/Mikubill/sd-webui-controlnet.git“擴展的 git 存儲库的 URL”。
4. 按“安装”按鈕。
5. 等待 5 秒鐘，您將看到訊息“已安装到 stable-diffusion-webui\extensions\sd-webui-controlnet。使用已安装選项卡重新启动”。
6. 轉到“已安装”選项卡，單擊“检查更新”，然后單擊“应用并重新启动 UI”。（下次您还可以使用这些按鈕来更新 ControlNet。）
7. 完全重新启动 A1111 webui，包括您的終端。（如果您不知道什么是“終端”，可以重新启动计算机以达到相同的效果。）
8. 下载模型（見下文）。
9. 將模型放入正确的資料夾后，您可能需要刷新才能看到模型。刷新按鈕位于“模型”下拉列表的右侧。

下载模型

目前ControlNet 1.1的所有14个模型都處于beta测試阶段。

从 ControlNet 1.1 下载模型：

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

国内可以在这里高速下载:

「controlnet插件模型全部 」：https://pan.quark.cn/s/f1b98f5e0870

您需要下载以“.pth”結尾的模型文件。

將模型放入“stable-diffusion-webui\extensions\sd-webui-controlnet\models”中。您只需要下载“pth”文件。

请勿右键單擊 HuggingFace 网站中的文件名进行下载。一些用户右键單擊这些 HuggingFace HTML 网站，并將这些 HTML 页面保存為 PTH/YAML 文件。他们没有下载正确的文件。请点擊 HuggingFace 中的小下载箭頭“↓”圖标进行下载。

下载 SDXL 模型

请参阅此處的說明。

ControlNet 1.1 中的功能

完美支持所有 ControlNet 1.0/1.1 和 T2I 适配器型号。

现在我们完美支持所有可用的模型和预處理器，包括完美支持 T2I 样式适配器和 ControlNet 1.1 Shuffle。（确保您的 YAML 文件名和模型文件名相同，另请参阅“stable-diffusion-webui\extensions\sd-webui-controlnet\models”中的 YAML 文件。）

完美支持 A1111 高分辨率。使固定

现在，如果您在 A1111 中打開 High-Res Fix，每个控制網路將输出两个不同的控制圖像：一大一小。小的用于您的基本生成，大的用于您的高分辨率修复生成。这两个控制圖像是透過称為“超高质量控制圖像重采样”的智能算法计算的。默认情况下此功能處于打開状態，您無需更改任何設置。

完美支持所有 A1111 Img2Img 或 Inpaint 設置和所有遮罩类型

现在，ControlNet 使用 A1111 的不同类型的遮罩进行了广泛的测試，包括“遮罩修复”/“未遮罩修复”、“全圖”/“仅遮罩”、“仅遮罩填充”和“遮罩模糊”。调整大小与A1111的“仅调整大小”/“裁剪并调整大小”/“调整大小并填充”完美匹配。这意味着您可以毫無困难地在 A1111 UI 中的几乎所有位置使用 ControlNet！

新的“像素完美”模式

现在，如果您打開像素完美模式，则無需手动設置预處理器（注釋器）分辨率。ControlNet 將自动為您计算最佳注釋器分辨率，以便每个像素完美匹配穩定擴散。

用户友好的 GUI 和预處理器预览

我们重新组織了一些以前令人困惑的 UI，例如“新画布的画布宽度/高度”，现在它位于 📝 按鈕中。现在预览 GUI 由“允許预览”選项和触發按鈕 💥 控制。预览圖像尺寸比以前更好，并且您不需要上下滾动 – 您的 a1111 GUI 將不再混乱！

支持几乎所有升級脚本

现在ControlNet 1.1可以支持几乎所有的Upscaling/Tile方法。ControlNet 1.1 支持脚本“Ultimate SD upscale”和几乎所有其他基于圖块的擴展。请不要將“Ultimate SD upscale”与“SD upscale”混淆 – 它们是不同的脚本。请注意，最推荐的升級方法是“平鋪 VAE/擴散”，但我们测試了尽可能多的方法/擴展。请注意，自 1.1.117 起支持“SD upscale”，如果您使用它，则需要將所有 ControlNet 圖像保留為空白（我们不推荐“SD upscale”，因為它有些错誤并且無法维護 – 使用“終极 SD 高档”而不是）。

更多控制模式（以前​​称為猜测模式）

我们修复了之前1.0的猜测模式中的許多错誤，现在它被称為控制模式

现在您可以控制哪个方面更重要（您的提示或您的 ControlNet）：

• “平衡”：CFG 刻度两侧的 ControlNet，与關闭 ControlNet 1.0 中的“猜测模式”相同

• “我的提示更重要”：CFG規模两侧的ControlNet，逐漸減少SD U-Net注入（layer_weight*=0.825**I，其中0<=I <13，13表示ControlNet注入SD 13次）。透過这种方式，您可以确保您的提示完美地顯示在生成的圖像中。

• “ControlNet 更重要”：ControlNet 仅在 CFG 規模的条件侧（A1111 的 batch-cond-uncond 中的 cond）。这意味着如果您的 cfg-scale 為 X，则 ControlNet 的强度將增强 X 倍。例如，如果您的 cfg-scale 為 7，则 ControlNet 的强度將增强 7 倍。请注意，此處的 X 倍强度与“控制重量”不同，因為您的重量没有修改。这种“更强”的效果通常具有更少的偽影，并為 ControlNet 提供更多空间来猜测提示中缺少的内容（在之前的 1.0 中，称為“猜测模式”）。

   

输入（深度+canny+hed）	“均衡”	“我的提示更重要”	“ControlNet 更重要”

仅供参考的控制

现在我们有了一个reference-only不需要任何控制模型的预處理器。它可以直接以圖像為参考来指導擴散。

（提示“草原上奔跑的狗，品质最好，……”）

此方法类似于基于修复的参考，但它不会使您的圖像變得混乱。

許多專業的A1111用户都知道透過修复参考来擴散圖像的技巧。例如，如果您有一張 512×512 的狗圖像，并且想要生成另一張具有同一只狗的 512×512 圖像，有些用户会將 512×512 狗圖像和 512×512 空白圖像連接成 1024×512 圖像，發送到 inpaint，然后屏蔽掉空白 512×512 部分来漫射具有相似外觀的狗。然而，这种方法通常不太令人滿意，因為圖像是相連的并且会出现許多失真。

这个reference-onlyControlNet可以直接將你的SD的注意力層链接到任何独立的圖像，这样你的SD就可以讀取任意圖像作為参考。您至少需要 ControlNet 1.1.153 才能使用它。

要使用，只需選择reference-only作為预處理器并放置圖像。您的 SD 將仅使用该圖像作為参考。

请注意，此方法尽可能“無意見”。它只包含非常基本的連接代碼，没有任何个人偏好，用于將注意力層与您的参考圖像連接起来。然而，即使我们尽力不包含任何有意見的代碼，我们仍然需要编寫一些主觀實现来處理權重、cfg-scale 等 – 技術報告正在进行中。

更多示例请参見此處。

技術文件

另请参阅 ControlNet 1.1 的文档：

https://github.com/lllyasviel/ControlNet-v1-1-nightly#model-specification