StableDiffusion绘画教程

StableDiffusion更新1.6版本之后引入了新的controlnet模型Ipadapter，这使得以webui现在也具备快速绘制室内室外建筑装修效果图的能力。

现在我就用一个实例来演示如何把一张毛坯房照片变成精装修，并且设定好了之后只需要更换参考图就可以生成各种风格，不需要任何lora

以下绘制流程的灵感来自于comfyui，不仅是毛坯房照片，线稿，手绘草图都可以适用。

特别申明：我并非建筑装修业内人士，教学中所绘制的效果图仅供参考

第一步：打开sd图生图界面

（ 以往做效果图都是在文生图做但是用文生图有个巨大的bug，特别是毛坯房照片地面脏乱，墙面不平的情况下同学们大概率会画出叙利亚战损版）。

这次我使用的大模型是：The Final Fantasy of Fireflies

这是我个人融合的大模型，照片写实风格，比较万金油，lib，炼丹阁，xtimesai，这些网站我都上传了，直接搜索即可。

在提示词中写入建筑类图像质量控制的提示词：

正向：

(extremely detailed CG unity 8k wallpaper),(masterpiece),(best quality),(ultra-detailed),(best illustration),(best shadow),

反向：

cluttered,paintings,(worst quality:2),(low quality:2),(normal quality:2),lowres,signature,blurry,drawing,sketch,poor quality,ugly,text,pixelated,low resolution,chaotic spaces,outdated design,

第二步：打开controlnet，如下设置：

点击启用，点击完美像素模式，点击IP-Adapter，选定对应的模型

这一步并不需要上传图像，controlnet会自动读取图生图中的原始图像作为风格参考图

Ipadapter模型中上传的图像我们称为参考图，主要作用是使用给定的图片作为提示词向量输入到绘制的过程中，相当于低配版的lora

如果你想在生成的图像中有更多原始图像的细节比如原始图像中的家具就需要使用

ip-adapter_sd15_plus

这个模型比标准模型风格迁移能力更强

然后继续添加第二条controlnet：

启用，完美像素模式，上传独立的控制图像，选择深度，

选择预处理器选择：depth_leres,

上传一张毛坯房照片，点击预览，

设置权重：0.5

深度模型在这里是目标图，AI在绘制图像的时候是以参考图（Ipadapter）作为引导，向着目标图的方向绘制。

深度模型的作用是保持房间内各个墙面之间的空间结构与输入的毛坯房一致。

我只设置了权重，而没有设置结束步骤的原因在于根据我的经验，在绘制室外场景时候结束步骤小于1的时候会让最后生成的图像线条歪曲，所以我偏向设置权重而不是结束步骤

然后继续添加第三条controlnet：

启用，完美像素模式，上传独立的控制图像，选择线稿，

选择预处理器：lineart_realistic（写实线稿）

上传毛坯房照片，点击预览

设置权重：0.4

线稿模型在这里的目标是保持墙体立面边缘的正确性。

除了线稿，之外，涂鸦（强化边缘预处理），软边缘（软边缘检测-Hed），canny（硬边缘检测都是可以适用的模型）它们的作用类似，对于不同的参考图：照片，线稿，涂鸦，3d分块颜色模型图可以尝试不同的模型。

如果是线稿和手绘，我比较推荐用：涂鸦模型。

第三步：点击这个小箭头，上传毛坯房照片的分辨率到图生图全局控制中

如果分辨率过大，你需要等比例缩小，一般我会以长或者宽的任意一边最大值不超过或者等于1024为准，具体需要参考你硬件水平来设置，

如果你安装有sd-webui-aspect-ratio-helper 这个插件，直接锁定后调整即可，强烈建议大家都装上这个插件，作图神器。

采样器选择：DPM++ 2M Karras，

其他设置默认即可

接下来，在网上搜索一张你喜欢的室内效果图照片作为图生图的原始图片并上传

现可以尝试生成一张看看效果

怎么样，还不错吧， 我们继续优化一下，之前的提示词除了质量控制并没有内容的描述，我们在提示词里添加一些物品描述：

(window:0.2),couch,green plant,coffee table,decorative painting,potted plant,

(窗户:0.2)，沙发，绿色植物，茶几，装饰画，盆栽

然后我们再次开始绘制，看看效果

怎么样是不是很简单，如果你想尝试不同风格的效果只需要修改图生图原始输入图片即可