从抠图到真人转绘

关于真人AI转绘，想要更加稳定的画面，良好的抠图越来越重要。

Up测试了网上很多批量抠图方法

这期讲一下测试的结果

1.首先我教程中isnet pro插件自带的抠图

这个抠图速度最快

但是抠图质量一般，只适用于人物和背景差距较大的视频。

比如已经做了景深处理的视频。

操作步骤就是填写如上信息，点击开始生成

很快就能看到生成的图像，但是很明显存在问题，如肢体缺失、背景抠不干净等。

这样的图片可以通过导入PS用橡皮擦等逐步修复，但是工作量较大。

（本次举例的为背景比较复杂的情况，如果素材足够合适，那使用isnet就够用了）

2. AE/PR的插件Goodbye greencreen

安装好之后直接拖到视频图层

设置为自动蒙版-通用

可以输出视频效果

如果你的视频有着固定不变的背景，并且你有这张背景的图片

可以设置为

背景模式，并关联背景图层，插件会根据算法将背景去除。

当然，如果你的视频背景过于复杂，这个抠图的结果也需要手动修复。

3. 一些收费软件。

本次测试了两款智能抠图软件。

可以说成本巨大。

不是广告，本人不推荐去购买这样的软件。

首先是改图鸭

可以说抠图效果比较好了

缺点是一次只能改30张图，我一批批的导入，500张图改了一个多小时才抠完。

第二个软件是嗨格式抠图大师

这个软件抠图效果次于改图鸭，但是没有一次性抠图限制。

虽然没有限制，也不能一次性提交太多，软件容易崩溃。

4. segment everything

作为一个语义分割插件，segment功能强大，可能是未来AI图像方面重点之一。

这里只说一下它的抠图功能。

 在批处理中，选择处理模型，输入需要分离出来的tag，比如这里是官方案例写的 one standing girl with full body这个词条，形成了一个人体的蒙版，达到了抠图的效果。

这个插件本身我还在摸索中，如果测试效果好的话可能会单独出一个教程。

1. 抠图，切片

在完成抠图之后，通过PR或者isnet pro插件切片，这个在教程BV1qT41187oT中有非常详细的操作方法，就不赘述了。

2. 参数调整

这次将大部分预处理器都测试了一遍

正面tag：

,,smile,ponytail,cute,anime, simple background, 1girl, solo, skirt, school uniform, blue background, socks, black hair, full body, shirt, green skirt, black socks, ribbon, shoes, black footwear, braid, long hair, kneehighs, short sleeves, white shirt, standing, pleated skirt

负面tag：

(low quality, worst quality:1.4),(bad_prompt_version2:0.8), nsfw,nsfw, hair ornament,hair ribbon,（shadow:1.2),blue eyes,toys,doll,holding toys, short hair,

Tag也是在不断跑图中增加词语的。

以下是单开controlnet预处理器，并且全部是0.6的权重，完美像素模式绘画结果

前面没有标注的均为meinamixV9模型，并且挂了粗线稿lora和铃芽lora

①xcribbile_xdog

涂鸦-强化边缘

②candy-边缘检测

③inpaint-global-harmonious重绘-全局融合

④tile分块重采样-高清化

⑤softedge-hed 软边缘检测

⑥lineart-realistic 写实线稿提取

⑦lineart-anime动漫线稿提取

⑧lineart-anime动漫线稿提取+oldfish模型

⑨lineart-anime动漫线稿提取+AnythingV5模型

⑩lineart-anime动漫线稿提取+dark sushi模型

当然只看单帧效果是不够的，每个处理器都要跑几张看看连贯性。

最后选择的还是动漫线稿+meinamixV9

这个过程不是固定的，每个重绘角色不同，选择肯定不一样。

我的每个视频会放出单图参数，可以通过这个参考，但实际制作的时候需要自行测试调整。

3. 再次抠图

跑完图之后有时候会因为预处理器问题，再次出现不需要的部分，有时候是无法避免的，需要对这部分再次抠图，以保证画面的纯净。

完成以上工序后，就可以合并序列，生成新的视频了。

关于合并序列，修改背景，补帧，防闪烁等请参考BV1qT41187oT。

【总结】

AI动画是个不断探索的过程，up的每个视频制作流程都和上一个不同，每次都能有一些新发现，虽然不一定是有用的内容。

抠图是一个繁琐的工作，但它能大幅度稳定画面，这样可以使用单帧渲染，很大程度上降低算力要求。铃芽这个视频实际渲染时间不到3个小时，主要消耗在抠图和不断测试生成，修改tag上。

up希望能把效果好的AI动画门槛降低，而不是你问他他就告诉你上多帧渲染，上4090，测试了那么多结果都表明不需要太多的预处理器，低分辨率也能出好效果。如果没有硬件还可以用colab去免费用谷歌的gpu，教程也已经发了。

希望总结的经验能够为大家提供一些帮助，AI动画实在是太小众了，消耗大量的时间精力，播放量也寥寥无几，着实可惜。现在首页刷到一些关注我的人做的视频，我都会点进去看看，大家能做一些与众不同的东西，就感觉很欣慰了。