VAE（变分自编码器）的介绍和应用

更新：2024-07-03 16:06:30编辑：游戏资讯归类：攻略

VAE（Variational Autoencoder）是一种生成模型，通过学习输入数据的潜在表示来重构输入数据。在Stable Diffusion 1.4 或 1.5 模型中，VAE被用于部分更新，提升模型渲染眼睛的能力。这种更新使得模型在生成图像时更准确地捕捉和再现眼睛的细节，从而提高整体图像的真实感和质量。

VAE由编码器和解码器两部分组成。编码器将输入数据映射到一个潜在空间，解码器则从这个潜在空间重构数据。

我需要VAE吗？

实际上，无需安装 VAE 文件即可运行 Stable Diffusion。因为你使用的任何模型都已具有默认 VAE。当人们提到下载和使用 VAE 时，通常是指使用改进版本。

模型训练器使用其他数据进一步微调模型的VAE部分时，并不需要发布整个大模型，只需要发布其中的VAE部分即可。

使用VAE的效果

VAE的改进通常意味着它能够更精确地从潜在空间解码图像，尤其是在处理精细细节方面，比如眼睛和文本的渲染。

Stability AI发布了两种微调的VAE解码器变体：EMA（指数移动平均线）和MSE（均方误差）。这两种变体旨在优化VAE解码器的性能，特别是在渲染细节方面。选择哪一种变体可能取决于特定的应用场景和所需的输出质量。

使用这些微调的VAE解码器变体，可以期望在生成的图像中看到更清晰的文本和更真实的眼睛渲染。以下是一些对比的例子：

VAE的选择

Stability AI对256×256分辨率图像的评估指出，使用EMA的VAE解码器生成的图像在细节上更加清晰，而使用MSE的解码器生成的图像则在视觉上更为平滑。而在512×512分辨率图像的测试中，可以观察到在某些情况下，眼睛的渲染质量有所提升。总结一下，新的VAE更新至少不会降低模型的性能，要么提升了渲染质量，要么保持原有水平。

EMA和MSE这两种微调的VAE解码器变体与Stable Diffusion v2.0模型是兼容的。尽管在v2.0版本中，它们可能带来的改进效果相对较小，因为v2.0本身在渲染眼睛方面已经表现得相当出色。

是否需要使用VAE

使用VAE的决定取决于你对当前结果的满意度以及你对细节改进的追求程度。如果对结果已经满意，可能不需要额外引入VAE来进一步提升效果。但如果追求每一个可能的性能提升，哪怕是微小的改进，使用VAE可能是一个值得考虑的选项。

如何使用VAE

下载

https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt

安装

如果使用webUI，将下载的VAE文件放在目录中:'stablediffusion-webui/models/VAE'即可。

Linux和Mac OS用户

wget https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt -O models/VAE/vae-ft-ema-560000-ema-pruned.ckpt

wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O models/VAE/vae-ft-mse-840000-ema-pruned.ckpt