Stable Diffusion

Stable Diffusion官网入口下载,ai人工智能画画,作圖軟體工具网站Stable-Diffusion

简介

Stable Diffusion是一个AI圖像生成应用，可以透過简單的文本提示输入，模擬和重建几乎任何以視觉形式表达的概念。该应用提供了基于网页浏览器的前端交互，利用Gradio模块創建的交互程式，让用户在低代碼GUI中轻松訪問Stable Diffusion的功能。Stable Diffusion Web UI提供了多种功能，例如txt2img、img2img、inpaint等，以及多种模型融合改进、圖片质量修复等升級功能。透過调整相關参數，可以生成不同的效果，用户可以根据自己的需要和喜好在本地客户端进行AI創作。此外，用户可以透過Stable Diffusion Web UI訓练自己的模型，它提供了多种訓练方式，让用户掌握相關訓练方法，并能够自己制作模型。

Stable Diffusion官网:

https://beta.dreamstudio.ai/generate

https://stablediffusionweb.com/

工作原理

下面是 Stable Diffusion 工作原理的概述。

Stable Diffusion 用途多样，是一款多功能模型。首先它可以根据文本生成圖像(text2img)。上圖是从文本输入到圖像生成的示例。除此之外，我们还可以使用 Stable Diffusion 来替换、更改圖像（这时我们需要同时输入文本和圖像）。

下面是 Stable Diffusion 的内部結构，了解内部結构可以让我们更好地理解 Stable Diffusion 的组成、各组成部分的交互方式、以及各种圖像生成選项/参數的含義。

1、Stable Diffusion 的组成

Stable Diffusion 并不是一个單一模型，而是由多个部分和模型一起构成的系統。

从内部来看，首先我们可以看到一个文本理解组件，这个组件將文本信息轉化為數字表示（numeric representation）以捕捉文本意圖。

这部分主要對 ML 进行大概介绍，文章后續还会講解更多細節。可以說这个文本理解组件（文本编碼器）是一个特殊的 Transformer 语言模型（嚴格来說它是一个 CLIP 模型的文本编碼器）。將文本输入到 Clip 文本编碼器得到特征列表，對于文本中的每一个 word/token 都有会得到一个向量特征。

然后將文本特征作為圖像生成器的输入，圖像生成器又由几部分组成。

圖像生成器两步驟：

1-圖像信息創建器（Image information creator） 圖像信息創建器是 Stable Diffusion 特有的關键部分，也是其性能遠超其他模型的原因。

圖像信息創建器運行多个 step 生成圖像信息。Stable Diffusion 接口（interfaces）和库（libraries）的 step 参數一般默认為 50 或 100。

圖像信息創建器完全在圖像信息空间（亦称潛在空间）上運行，这让 Stable Diffusion 比以前在像素空间（pixel space）上運行的擴散模型速度更快。从技術上講，圖像信息創建器由 UNet 神經網路和调度算法组成。

“擴散”一词描述了圖像信息創建器中發生的事情。因為圖像信息創建器對信息作了逐步處理，所以圖像解碼器（image decoder）才能随后產出高质量圖像。