BArtstyleDB 您所在的位置:网站首页 RPG画风是什么样的 BArtstyleDB

BArtstyleDB

2024-06-11 13:04| 来源: 网络整理| 查看: 265

先来点Banner图预览(无lora直出)

进入使用说明之前会有一长串碎碎念,如果你嫌太长不看,可以直接前往C站搜索BArtstyleDB进行一个下载。

你也许在秋叶佬的视频中,看到过一个叫做BArtstyle的蔚蓝档案的画风LoRA。

弹幕有人说他效果一般,我很认同,我也觉得他很烂,但这个模型是我炼的,以防丢人我得弄的更好点。

但有人指着某个一周前发布的模型光预览图就过拟到就差吐原图,还以为是开了controlnet的模型说这个比我的强,就多少有点难蚌了。

同种子同tag横比,上4使用该lora,下4直出,可明显看见构图过拟

LoRA/LyCoris画风终究是有他的极限,所以我选择一步到位,直接使用Dreambooth微调。

什么?你问为什么不用天下无敌的NAI3?

因为NAI3出不了BA画风啊。(而且要花钱)

众所周知,NAI3 是基于Danbooru等无断转载图站的tag训练的。他们训练时会把画师和版权归属也作为训练集tag的一部分,所以对画风统一的画师/游戏还原度非常高,但如果一个画师活跃时间非常长,或者画风多变的话,那么他出的图质量就会有“年代感”或者被污染。经典例子就是岛田文金和砍口垒的几个画师。

甚至头箍舰装都是改二之前的(代表素材来自2014年或更早)

BA主美是hwansang(邮箱白子阿罗娜等原画,明亮但上色比较“脏”) 和MX2J(C&C的原画,低对比粗线偏厚涂大大大) Doremi(便利屋68等原画,明亮的细线平涂)三人,虽然其他两位的画风更统一素材也更多,但剧情CG在第三章之后其实更多采用的是Doremi的平涂细线画风。所以在训练时我反而舍弃了相当一部分MX2J的官方作品,因为不够平涂。hwansang好歹上色风格比较接近。然而图站上Doremi的素材时间和画风跨度非常大,和BA类似画风的素材反而在少数,即便有也以人设图居多,严格意义Doremi发布的符合BA的CG风格的其他作品只有一张少战的喀秋莎。

对于剧情CG以外的宣传绘(比如活动KV、国服的活动图等),BA会请不同的画师,比如活动剧情的主视觉图是hennnachoco的作品,日服Vol5的主视觉图是全新画师 ikkia 的作品,而国服的活动KV则是kitto的作品。这些画师都有自己的画风,只是这些商业绘在美监的指导下有了BA的风格。

我知道有不少画师在仿BA的风格,但我不想碰画师丹这种容易被事儿妈找上门的玩意,而且说实话仿着仿着就走歪的/感觉不对的大有人在,就有点没啥必要了。

所以画师这块是没希望了,那IP呢?

更没救。

因为BA国际服和日服会把很多社群中的画师的贺图也作为官方作品发布,导致official artwork底下什么画风的都有,根本没法做筛选。

综上,NAI3是很难调用出真正的BA风格的,害得看传统的微调模型。

在讲怎么用/上哪下载之前,首先声明一下(我知道没啥用¯\_(ツ)_/¯)

声明:

本模型的配布基于《蔚蓝档案》同人创作指引v1.0 (以下简称《指引》)中:“同人创作者可以以“非商业目的”在中国大陆境内自由地创作、发表、展示和传播基于《蔚蓝档案》游戏原始素材而创作完成的同人作品”。本模型免费配布,使用本模型的用户须遵守《指引》,违反《指引》的用户由用户自行承担相关法律责任,本人(模型作者)不承担任何责任。

本模型使用的所有数据集均仅来自《蔚蓝档案》及《Blue Archive》官方原始素材,官方原始素材定义来自《指引》:

NEXON集团与YOSTAR官方LOGO、《蔚蓝档案》及《Blue Archive》游戏LOGO、《蔚蓝档案》及《Blue Archive》游戏原素材、《蔚蓝档案》及《Blue Archive》官方游戏资产、《蔚蓝档案》及《Blue Archive》官方宣传物料等全部与《蔚蓝档案》及《Blue Archive》官方相关的素材。

BA国服项目组代理发行的手机游戏产品《蔚蓝档案》全部已公开发表的内容(包括但不限于游戏角色,游戏音乐,游戏画面,游戏剧情,音频、视频等。

本模型及基于本模型的任何改造或融合模型均不可商用;本模型及基于本模型的生成作品不得用于任何形式的盈利,包括但不限于使用本模型的生成作品提供Patreon、Fanbox、爱发电等订阅制或买断制服务;除本模型原发布站(CivitAI、抱脸)以外,本模型不得上传至任何提供付费AI图片生成服务的网站(包括但不限于吐司、liblib)

以上。

使用方法:

采样器:Euler A 

研究花里胡哨的采样器不如老老实实Euler A(暴论)

对LCM而言CFG5太高所以炸了

步数:50

EulerA不能使用太低的步数,所以出图会比较慢,人物姿势构图在75步左右定型,更高的步数会强化背景,但同时手会更容易崩。

Euler A采样测试

CFG:5

CFG过高颜色会出现过饱和。尤其是你使用easynegative作为负面embedding的话,cfg不要高

如果想要高CFG不崩,建议使用动态CFG插件

CFG测试(无动态)CFG测试(动态模拟5)

高清修复:AnimeVideoV3 

 https://openmodeldb.info/models/4x-realesr-animevideo-v3

VAE:WD1-4-kl-f8-anime2-bless09

https://huggingface.co/nubby/kl-f8-anime2-blessed

生成分辨率:不高于1024x1024

个人常用 960x540, 768x432

使用分辨率不得高于底模分辨率,即便我微调素材集采用的是1280x1280。

如果你发现角色LoRA在1024x1024下构图崩坏,建议先检查该LoRA的训练分辨率。

与Dreambooth不同,LoRA训练分辨率直接决定了你出图能使用的分辨率上限(但是也无法出高于1024*1024的图)。

触发词:

3202年了,别™抱着NAI1.0的咒语行吗,就连NAI3.0都不需要长魔咒质量词了 ,何况CounterFeit也从不是什么需要长魔咒才能用的模型,你搁那写beautiful face/beautiful eye只会影响构图,不如自然语言把谁在什么地方做什么写明白,不知道怎么写就去问chatgpt!

负面懒人直接EasyNegativeV2就行了,出现不需要的东西再加额外的tag。

纯自然语言短句测试+easynegativev2,短句生成自chatgpt下载地址:

https://civitai.com/models/212253

训练经验分享:

和LoRA不同,Dreambooth的教程数量屈指可数。毕竟DB和LoRA比效率和硬盘损失都太大了,很多教程只告诉你怎么让你跑起来,不告诉你有些参数有没有用/能不能用/推荐怎么用。

说实话我也只是踩了整整一个月的坑而已,不说教人,但至少有些坑我还是能告诉别人的。

1. 底模的选择

说实话,底模的选择其实并不是很多,因为很多模型都已经被融烂掉了,不太适合用来微调。从训练画风模型的角度看,市面上的选择可能只有三个:

NovelAI1.0(Final-Pruned)

这玩意应该不用我介绍吧?大名鼎鼎的NAI。用这个模型训练兼容性肯定不是问题,但整体效果就很一般了……这玩意底模分辨率是512x512,至少在用NAI底模的模型的时候,我是不敢用超过768x768的。

在我看来,NAI的微调模型只适合本来就打算接着用MBW融合其他模型的人使用。直接用的话出个立绘没啥问题,但带背景就不行了,容易左右接不上。

Waifu Diffusion

独立于NAI体系的开源大模型。VAE很好用,但模型本体就……他就不能老老实实炼一个只有二次元的底模吗?

完全不兼容NAI生态。所有LoRA你都得在WD上重练一次,调用prompt似乎也和NAI系列不太一样,我没整明白就放弃了。

CounterFeitV3

效果很好的开源可商用厚涂风格模型。和NAI兼容,训练分辨率1024x1024,对SD1.5够用了。问题出在部分词会有强联想,比如下雨必出伞,但NAI其实也有类似的问题,比如outdoors大概率出现绿植。

在这个月早些时候作者更新了一个VAE修复版,强烈建议用CF3的赶紧更新。

CF3之前最严重的问题就是他的VAE,出图(尤其是套用平涂风格模型后)经常出现绿斑和斑马纹,而且对更换的VAE极其不敏感,甚至可以认为是完全无效。修复后我愿称之为SD1.5最强二次元模型。

对自然语言支持非常好,总体也听话,但画面不会太干净。

哪怕不加描述,特殊的构图出现率也很高,相对的人体崩坏率也不低,需要抽奖或者PS。只是想着出立绘的或者必须要打啥出啥的就别碰了。而且底模画风很重,画风模型欠拟合的话比较容易穿帮。

对我而言,我希望要一个不用长咒语就能用,但不能是TMND那种完全不听话的模型。那么答案很明显了,CF3是最优解。

上述三个模型以外的二次元1.5模型大都是融合模型。包括常见的Cuteyukimix、SweetSugar、TTTurbo、Anything、AnyLoRA、Silicon28/29、AOM都是。

AnyLoRA作为LoRA底模的效果确实比NAI强,但毕竟是融合模型,不在他的模型上使用的还是不碰为妙。

哪怕炼炸了,训练模型的效果都比融合模型更好(左CF3VS右TTTurbo)

2. 数据集的处理

图集数量打底100张起步(高质量无重复)

和LoRA差不多。但再提醒一下,除非这个角色底模认识并且能完美还原(还原度至少得是初音的级别),否则数据集需要删除任何WD tagger识别的角色名称。还有alternate coustume这种与角色强绑定的词汇也要删掉。

3. 训练参数

训练分辨率、Batch Size和Epoch

Dreambooth对大像素训练没有LoRA那么敏感,所以可以考虑在力所能及的范围内拉大以获得更好的眼睛表现,但大像素会显著降低训练速度和拟合速度,甚至显存没用满速度先降到无法接受了。

分辨率设置应该不高于1536x1536(Batch size 1)。这是4090在不开梯度检查的情况下的显存极限。

大Batch Size是牺牲质量换速度。图集数量不破四位数的我认为BS1就够了,文火慢炖才是王道

测试丹100ep就够了。

学习率、调度和优化器

Unet 默认1e-6,Constant with Warmup,暖机10%总步数。

AdamW8bit挺好的。你都用Batch Size 1了真没必要上Lion。

因为我需要他学习特定的颜色滤镜,所以我炼了TE。

TE学习率别人推荐是Unet的1/8,也就是1.25e-7,我试下来感觉还不错。

TE在50%的总步数停止,高了不行,会过拟。

如果你想用cosine调度,你需要翻倍的epoch数量或使用重启,并且重启轮数不要太低,会欠拟合。

其他参数

标签概率丢弃这个功能我测下来体感不明显。

金字塔噪声衰减率(Multires_discount)应该根据炼丹的效果和图集画风进行调整。

其他的坑我暂时没想到/遇到。

背景出现斜线条=炸了 应该调低参数颜色过饱和+无tag光环(没有标注却出现的东西)=过拟合,应该调高参数

下一步打算试试SDXL的丹。训练集不变,但参数咋搞呢……



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有