Stable Diffusion+chilloutmix+koreanDollLikeness完美复制心爱的小姐姐!(Lora使用篇) 您所在的位置:网站首页 魔法使的新娘2季免费观看 Stable Diffusion+chilloutmix+koreanDollLikeness完美复制心爱的小姐姐!(Lora使用篇)

Stable Diffusion+chilloutmix+koreanDollLikeness完美复制心爱的小姐姐!(Lora使用篇)

2023-04-21 07:15| 来源: 网络整理| 查看: 265

想知道我画的图和你画的图,差别在哪里呢?

很关键的因素,就是我用了专门的生成模型model和lora包。

Stable Diffusion是2022年发布的深度学习文生图模型 它主要功能是用文本的描述产生图像。

本文内配图均由SD绘制

本页面提供LORA模型的使用教程和下载链接,包括基础模型和角色模型的下载方法,以及在Stable Diffusion WebUI中如何加载和使用LORA模型。

前置条件

如果您还未部署Stable Diffusion WebUI,可以安装Stable Diffusion本地版部署。

基础模型

基础模型可以理解为一栋大楼的地基,是这一整栋大楼的根本,如果没有地基的存在,也就没有办法在上面建设每个单独的房间。

目前比较主流的基础模型为ChilloutMix,是以SD官网模型1.5版本为基础进行训练的。

ChilloutMix官网下载(如被墙可以去国内备份站下载)

https://civitai.com/models/6424/chilloutmix

lora模型下载

简单来说,lora就是它可以让你定制你的小姐姐。比如最流行的三个lore,可以生成接近完美的日本,韩国,台湾的小姐姐。(模型好像已经从C站消失了,还好我有备份!),你也可以通过自己的努力把明星,网红,路人,自己,制作成lora,然后进行各种组合搭配,化神奇为更神奇!

所以如果你想使用Lora生成指定的角色,那就必须要先加载基础模型,然后再安装角色模型。

Civitai模型网站:

Civitai是一个AI绘图爱好者聚集社区,里面有很多个性化的模型,尤其是3D,现实,人物,画风等有针对性训练的模型。因此,当你采用特定模型去生成特定主题的画作时,表现力会极大加强。

(注意这个网站直接访问传输不稳定,可能需要魔法上网。另,里面包含部分nsfw内容,未成年人禁止访问。)

四比三备份站:

主要备份c站的模型和图片数据,可以免费下载。

Lora使用教程下载基础模型ChilloutMix移动至*\stable-diffusion-webui\models\Stable-diffusion目录。下载需要的角色模型,移动至*\stable-diffusion-webui\models\Lora目录。重启Stable Diffusion WebUI主界面访问http://127.0.0.1:7860

5.在Stable Diffusion WebUI的主界面左上角加载基础模型ChilloutMix

参数设置

在采样工具 参数中 ETA噪声种子设置成0,除了ETA噪声为1 其余参数均为0

在Settings 选项卡找到Stable Diffusion,勾选图片上这三项。

SD VAE 设置(非必须)

这一步根据模型具体情况来,本模型需要的SD VAE 是 vae-ft-mse-840000-ema pruned.safetensors

下载地址在这里:

http://huggingface.co/stabilit

如果网页打不开可以从百度网盘这里下载

链接: https://pan.baidu.com/s/1AKPaEU4s9VTMSymqk5hRwg?pwd=tmms 提取码: tmms

下载后在VAE-SD 设置 (如果不在设置里面,有可能在首页)

VAE

全称:VAE全称Variational autoencoder。变分自编码器,负责将潜空间的数据转换为正常图像。

后缀格式:后缀一般为.pt格式。

功能描述:类似于滤镜一样的东西,他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面自带 VAE ,但是并不是所有大模型都适合使用VAE,VAE最好搭配指定的模型,避免出现反效果,降低生成质量。

使用方法:设置 -> Stable-Diffusion -> 模型的 VAE (SD VAE),在该选项框内选择VAE模型。

文件位置:该模型一般放置在*\stable-diffusion-webui\models\VAE目录内。

6.在SD的文生图或图生图界面内的生成按钮下,可以看到一个粉色的图标,该图标名为Show extra networks(显示额外网络),点击该红色图标将会在本页弹出一个面板,在该面板中可以看到Lora选项卡。

7.可以看到已经安装的Lora模型,点击模型名称将会自动该角色名称加载到Prompt文本框中(一定要检查好版本)。

8.填写一些其它的描述信息和相应的参数之后,就可以看到非常理解的效果了。

更多小姐姐提示词用法

1.下面是一段完整的提示词示例,在c站或四比三找到小姐姐

2.选择匹配的主模型,可以直接点击进入下载

3.复制参数

,(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), ultra-detailed,1 girl,cute, solo,beautiful detailed sky,detailed cafe,night,sitting,dating,(nose blush),(smile:1.1),(closed mouth)medium breasts,beautiful detailed eyes,(collared shirt:1.1), bowtie,pleated skirt,(short hair:1.2),floating hairNegative prompt: EasyNegative, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,extra fingers,fewer fingers,((watermark:2)),((white letters:1))ENSD: 31337, Size: 448x768, Seed: 716865729, Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Clip skip: 2, Model hash: 7234b76e42, Hires steps: 15, Hires upscale: 2, Hires upscaler: Latent (nearest), Denoising strength: 0.7

4.在提示词中可以看到被尖角号括起来的角色名称,

5.在stable diffusion webui的 prompt输入框里面,Ctrl(command)+ V ,粘贴刚刚复制的内容后,接着点击Generate下方的“左下箭头”。

这时候,你会发现,刚刚长长的prompt变短了,其他内容去哪了呢?

原来去了下面的nagative prompt框,和下面的参数配置。

6.点击generate,开始生成图像。

7.等待图像生成完毕,然后右键点击生成的图像保存,或者点击图像下面的文件夹图标,进入文件夹查看生成的图像。

示例效果展示

常见问题解答问题1:速度慢

按照上面说的步骤,发现生成图像非常慢怎么办?比如你看下面,生成一张图都要20多分钟甚至更长时间?

回答:

这是由于电脑性能不足,导致运算过慢。而示例图片都是默认显卡性能很强,所以他们有的选项对你来说,可能会运算量过大而生成时间超慢。

就像我们看游戏宣传视频,通常都是很流畅,而且画质超精美,但是自己玩的时候由于配置不够,可能会比较卡,还比较模糊,是一样的道理。

那么如果你的电脑性能不足,怎么优化速度呢?(当然绘制质量/效果也会有一定折扣)

(1)取消hire.fix的勾选,这一项作用是扩大分辨率并增强画质,非常耗算力;

(2)分辨率如果是512*768可以不用动,如果是768*1024或者都是768以上的分辨率,那么按比例调低分辨率。(那要高清图怎么办,生成基础图之后用extra功能放大图片。关注我,后面会讲。)

(3)sampling method取样方式,原作者是两个,dpm++sde karras,可以改成euler a

(4)升级硬件,买一个好点的显卡,比如Nvidia GTX3060以上,12G显存以上的。

(注意,以上方法不一定需要全用上,如果用上一两个能改善作画速度即可,因为改得越多,对绘图结果的质量影响越大。)

问题2:其他lora模型怎么找

如果我不用korean小姐姐的lora包,要用其他包怎么弄?

回答:

同上面教程,先找一个你感兴趣的绘图类型和风格,比如3D,动漫,国风或者之类的,点进去查看对方使用了哪些lora包,哪些模型,下载相关模型和lora包即可。

问题3:lora包是如何在prompt里面体现的?

回答:

我们先来看看一段样例prompt的lora提示:

可以看出,lora包的使用通常形式是,可以多个lora包一起使用。

最前面lora代表我要使用lora包,后面是lora包的名字和版本,最后0.xx则是要占多少比例,数字越大,lora特性展现越明显。

比如示例的两个lora包,可以是分别0.6和0.4,也可以分别是0.3和0.7,加起来不超过1就行。

问题4:找不到Lora名字

使用lora包,terminal或者cmd报错说找不到Lora名字怎么办?

回答:

报这个错,也能生成图,但是无法应用和展现你想用的lora包特性。

比如上面这个报错,就是没找到你指定的lora包,这时候要么你没有下载这个lora包,要么就是lora包名字错误。

点击gerate按钮下面的图像,再点击lora,下面会列出你拥有的所有lora包,复制名字替换掉prompt区域的lora包名字,把名字改对,就不会报错,并能使用相应lora包特性了。

问题5.生成同一个人脸

生成了好看的小姐姐,还想每次都尽量生成同一个人脸怎么办?

回答:

(1)尽量稳定使用同一个lora包;

(2)保持同一个seed不改动

(3)自己“炼丹”,训练自己想要的脸部模型lora包或者checkpoint模型库。

好了,今天先讲到这里。下次见~



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有