浅谈一些Lora训练和使用问题

我的c站页面（https://civitai.com/user/rerorerorero/models）

以下内容均基于秋叶大佬训练脚本和官模底模，不涉及真人训练。

简单来说就是不想要的玩意啦。用动画游戏截图炼丹可能会导致画风/背景污染。一些漏掉的姿势tag会导致动作污染，等等等等。

SD生成的AI图尽量别用，你就当它的循环次数是人工图的十倍甚至九倍，且细节差。

使用NAI也就是官模作为底模时，尽量不要采用真人图片。

要避免画风污染，尽量别选择同一作者同一来源的素材。

一般来说以秋叶训练脚本的默认参数（dim32，batch size1，epoch10）而言，一个角色/一整套衣服在800步基本就学得差不多了，不过我还是追求达到1200步以上，毕竟稍微过拟降权可用，欠拟就没法用了。

在这个默认参数下一张图8repeats已经是很高了，10repeats基本可以认为要崩了或者已经崩了。

当你素材很多时，只需要比较少的repeats即可达到高步数了，比方说有40张高质量图，repeats设为4甚至3，这种情况下，即使某一张图有漏标错标情况（比如奇怪的背景和错误的细节），由于repeats较低，实际上对这一张图学的很少。

而当素材较少时，你难免需要对这少数的几张图进行更多的学习，那么这时打标甚至正则就非常重要了。你知道吗，不同发色头发的容许长度也是衣服的一部分。

分文件夹只是让不同文件夹能有不同的循环次数，实际训练还是一起炖的，文件夹名也不是触发词。何为触发词会在后面提到。

tagger相比deepdanbooru有了很大改进，但即便如此漏标错标还是不能完全避免。一些漏标错标会带来相当大强度的污染。下面提一下一些常见的或者高危的问题，都是各种血泪经验。

“小臂上搁着的东西”，包括但不限于脱肩外套、脱肩和服、披肩、绑在胳膊上的袖子（detached sleeves，特别是透明的)、毛巾。污染极强，甚至你标上了，然后加个bare arms也不一定有用，这些玩意本身在一些大模型中可能权重都很高。如果素材够多我甚至会尽量避开，因为只要一张就足以让AI意识到“哇手臂上可以搁点东西！”。

双马尾一系，除了各种twintails外还有“two side up”，有时AI会给twintails打上two side up，但two side up无法吸收twintails，一旦发生错漏就会很容易让你出图的人物始终顶着双马尾（如果你本来练的就是人物lora那倒也无所谓了）。如果你也分不清twintails和two side up那建议都打上（

兽耳和头饰：包括animal ear fluff也是强污染，应避免遗漏。比较折磨人的一例是，脑后大蝴蝶结，即烧钱的托卡列夫舞娘，我试过hair bow, big bow等等，但AI还是会在不输入bow时污染成兽耳，没办法只能p掉了。

手势，其实打标器认不出很多手势，而danbooru的打标者也经常漏手势标，而人类画的手势也是各种各样（虽然一些在现实中即使能做出来也会发现如同招财猫）。常漏且污染严重的标包括但不限于：hand in own hair, adjusting hair, arm under breasts, holding arms, holding bottle……需要注意的是arm under breasts即胳膊在胸下，这个即使是打了标也会有大概率污染，胸越大污染越厉害，尤其huge breasts相比其他尺寸就有各种奇怪的污染。

视角，其实主要就侧后上下四个特殊视角，from side, from behind, from above, from below。建议重点关注。还有一种视角是侧后方，建议都打上。

构图和浦西，构图的tag其实是相当匮乏的，常用的无非upper body, cowboy shot, close-up,full body等等，有时则要用部位辅助。你也许见过一些巧妙地截掉了张腿露浦西的图，如果你没有别的张开腿的图，那么大概率spread legs这个tag的构图会被影响，导致使用这个lora出图时，spread legs显示的往往是上半身，此外这些图可能仍会被打上浦西甚至佩妮斯，然而画面上并没有浦西，这将有可能造成“写了浦西却看不到浦西”的情况，实际上打标器模型采用了一种取巧的方法——“猜标”，打标器有时会识别出“这是什么”，然后再根据“这是什么”反推出“它应该会有什么”然后加上去，即使画面上没有，这就会造成错标。举例来说，天狼星的泳装，在头上总是戴着一个爱心墨镜，如果你把一张泳装天狼星的头用色块遮住再放进去，你会发现tagger仍能打出墨镜的tag。

lora一定要触发词吗？触发词怎么设？标都要删掉吗？

在回答这些问题之前，可以举一个栗子，或者说思想实验。

首先你没有lora，这时你输入white shirt, apple会出现什么？白衬衫和苹果。但这二者并没有什么关联。

但是你希望有一件带着苹果图案的衬衫，于是你准备一堆“画有苹果图案的白衬衫”的图，并放进了打标器里。这时tagger就会打上apple, white shirt。你一个标没有删，启动了炉子，得到一个lora。

这时你练出的lora有以下几种结果：

可能一些图片的苹果画的不太标准，可能你没有在训练集里放一些纯白衬衫，抑或是练的有点过拟，你写了white shirt就能看到一个接近苹果的图案。

苹果和衬衫分离得比较好，你只有同时写上apple和white shirt时才能得到一个画有苹果的白衬衫。

欠拟了，什么也没发生。

这时，对于“绘有苹果的白衬衫”这个概念而言，触发词就是white shirt和apple

可能遇到两个问题：

写了apple, white shirt，但苹果除了出现在衬衫上还会出现在其他位置，毕竟训练时并不提供位置信息。

你寻思同时输入apple和white shirt太麻烦了！

于是你就把apple这个tag删了。于是触发词就成了white shirt。

现在你不用再输入apple，只需white shirt就能得到苹果衬衫。但请以AI的角度“思考”，它面对着这一张张训练图片时，从未得知衬衫上画的是个苹果，只知道是个红色的圆的带梗的图案。如果拟合度较高，或者这个大模型是擅长画苹果的，这个苹果图案还能画的很好，可如果降低权重，或是将lora移用到一个与训练底模差别很大时，得到的就未必是一个标准的苹果图案了。

如果你见过一些c站动漫风格角色lora下的真人返图，会发现头发是黑的。可通常训练角色lora时，我们通常会删掉发色和瞳色tag。这就是一个同类案例，相当多的真人模型在发色和脸型上都是过拟的，在没有发色tag的指导下直接将角色的发色盖掉了。可一些返图的就直接往自己的真人模型一套，感觉不是很尊重角色。

简单理解，lora训练就是图像与语义建立联系的过程。在训练时多次出现的tag则更有可能“吸收”那些图像特征。使用“触发词”就是用这些tag对训练集中的图像特征进行调用。lora是赋予了一些tag特殊性，让裙子成为特殊的裙子，让头饰变成特定的头饰，你甚至可以将画风视为多个不同的概念的组合即“这样的眼睛这样的手臂”等等，但这不意味着为了出图必须使用或是记忆全部的“触发词”，人是活的lora是死的。

比如一个角色是红围巾犬耳白丝JK（雾），如果作者没删所有的特征标也没闲着搞正则化，所谓的触发词里肯定有个red scarf, white thighhighs。

哪些tag可以删呢？

如果你练的是角色or服装，可以考虑先打标，然后看看哪些tag出现的比较多。

比如这是碧蓝航线的吸血鬼（誓约婚纱）。

对于这衣服打标器会给出dress, wedding dress, black dress等等

因为我希望能换衣服，且感觉wedding dress一般都是白的，作为触发词效果可能不好，最后我选择了black dress，至于dress，太宽泛了，于是我把所有的dress, wedding dress, black dress统一为black dress。（如果你的角色/服装有角和翅膀也是如此，建议将宽泛的horns和wings替换为更具体的demon horns, cow horns, feathered wings等等）

以及打标器常常会把长手套认成detached sleeves或是别的什么sleeves，建议改为elbow glovs。

此外由于我练的是角色lora，不管怎么换衣服，咱吸血鬼总是白发红瞳的，所以发色和瞳色可以删掉。

不建议删除的包括：

衣服的交叉绑带，即halterneck的下级criss-cross halter；

特殊固定图案，如渔网、条纹、和菱形格；

比较小或特殊的头饰或角，比如樫野的小牛角，泥岩的尖角，呆毛尤其是爱心呆毛；

奶盖和r贴；

手套，长手套，袜子和靴子；

翅膀和尾巴 ；

某些发型，比如双麻花（删了有概率出图时跑到头顶上），普通的散发可以删；

项链耳环，特别是有特殊款式的，比如十字。

另外你可能会为角色设一个自造词，且不管这个自造词有没有用，一定要检查这个自造词能不能被读出别的含义，我曾经练过夕立（圣诞节），自造词用的是poixmas，这就导致画面总是有圣诞节的光晕和星星，嘛不过既然本来就是圣诞节皮肤那无所谓了

多合一，可以看看 空城大佬的多合一教程，虽然他说已经过时了但还是可以参考一下。

你也许还看过我在c站写的简易cosplay服装训练法（https://civitai.com/articles/726/an-easy-way-to-make-a-cosplay-lora-cosplay-lora），或是娱乐的那个少图流训练角色。

这篇专栏里我想补充的是：

全果图对服装的影响基本可以视为完全没有（废话），以此类推，可以拿“基本不相关”的图去“污染”，去手动正则。比如说无人风景图可以用于人物/服装训练以减少画风和背景污染。

如果你曾经试过练多合一角色lora接着发现某套衣服完全出不来——对的，较少的概念会被那些占比更多的覆盖，同时你已经在“素材数量和循环”这一部分知道，循环次数较少基本是吐不出原图的，所以有一个比较激进的手动正则法，你也可以叫它垃圾正则法（这名字不是我取的）。

即收集各种各样的高质量图片，打上全标，设为1循环，第1个tag是1girl，图片数不要超过你要练的角色的素材数x循环数。并且最好是跟你的角色衣服没啥相似度，如果你的角色素材够不多步数也堪忧，比如角色穿泳装，就别拿别的泳装一起练了。

这样能有效提高换衣服的能力，实际上你可以将之视为训练一个特殊的多合一lora，概念A是混沌多变的1girl，概念B则是有着固定特征的那个角色。

不过，即便如此，当你的素材真的很少，甚至来源也单一时，画风就很有可能绑定在衣服和人物上了。

目前就想到这么多。