【Stable Diffusion】 训练方法篇

Stable Diffusion 有四种训练模型的方法：Textual Inversion、Hypernetwork、LoRA 和 Dreambooth 。它们的训练方法存在一定差异，我们可以通过下面对比来评估使用哪种训练方式最适合你的项目。

如果你知道模型中已经可以产生你想要的东西，例如，某种风格，或者已经 "在里面 "的特定名人，你可以使用这个模型，但是当你发现模型里面没有你要的人或者给严重错误标识了，那你就可以收集这种人物的样本图像，创建一个 Embedding训练，并使用对应关键字标识出来。

Textual Inversion（也称为 Embedding）是一种使用文本提示来训练模型的方法。它根据模型引用给定的图像并选择最匹配的图像。你做的迭代越多越好，能够在保持图像质量的同时，快速生成大量图像。这种方法对计算资源要求较低，适用于需要快速生成大量高质量图像的场景。

特点：

训练时关键参数设定：

Hypernetwork 是一种使用神经网络来生成模型参数的方法。它可以用来从模型内部找到更多相似的东西，使得生成为近似内容图像， 如果你想训练人脸或特定的风格，并且如果你想用Hypernetwork生成的 "一切 "看起来都像你的训练数据，那么Hypernetwork是一个不错的选择。你不能生成混合训练的图像，比如一组非常不同风格各异的猫。不过，你可以使用超网络进行绘画，将不同的训练数据纳入一个图像，改变图像的整个输出。

特点：

训练时关键参数设定：

Lora【Low-Rank Adaptation of Large Language Models】的缩写，是一种使用少量图像来训练模型的方法。与 Dreambooth 不同，LoRA 训练速度更快：当 Dreambooth 需要大约二十分钟才能运行并产生几个 GB 的模型时，LoRA 只需八分钟就能完成训练，并产生约 5MB 的模型，推荐使用kohya_ss GUI 进行lora训练。

特点：

Dreambooth 是一种使用少量图像来训练模型的方法，是一种基于深度学习的图像风格转换技术。它可以将一张图片的风格应用到另一张图片上，以生成新的图像,Dreambooth 的一个优点是它可以生成高质量的艺术作品，而无需用户具备专业艺术技能。

特点：

训练时关键参数：

VAE（Variational Auto-Encoder 变分自动编码器）模型有两部分，一个编码器和一个解码器。

在潜在扩散模型(Latent Diffusion Models)组成中就有VAE模型的身影

其中编码器(encoder)被用于把图片转换成低维度的潜在表征,转换完成后的潜在表征将作为U- Net 模型的输入

反之，解码器(decoder)将把潜在表征重新转回图片形式

在潜在扩散模型的训练过程中，编码器被用于取得图片训练集的潜在表征(latents)，这些潜在表征被用于前向扩散过程(每一步都会往潜在表征中增加更多噪声)

在推理生成时,由反向扩散过程生成的 denoised latents 被VAE 的解码器部分转换回图像格式

所以说 ,在潜在扩散模型的推理生成过程中我们只需用到VAE的解码器部分

那些比较流行预训练的模型一般都是内置了训练好的VAE模型的，不用我们再额外挂载也能做正常的推理生成(挂载后生成图像的效果会有一点点细微的区别)，此时VAE pt文件的作用就像HDR，增加一点点图片色彩空间之类的一些自定义模型

可如果一些预训练模型文件不内置VAE(或训练他们自己的VAE，此时通常会在他们的模型发布说明中告诉你从哪得到他们的VAE)。我们就必须给它找一个VAE挂载上去,用来将推理时反向扩散最后生成的 denoised latents 转换回图像格式，否则webui里最后生成输出给我们的就是类似彩噪的潜在表征(latents)，此时VAE pt文件的作用就像解压软件，为我们解压出肉眼友好可接受的图像

社区在用的流行 VAE 文件:

webUI中有两种挂载VAE模型文件的方法

VAE在训练过程中自行学习，随着模型的训练，不同版本的模型实际表现可能会有所不同，如果有需求可以通过移除VAE文件的方式阻止VAE自行学习。