部分常见图像超分辨率算法使用体验及图片对比

首先声明，本文的所有内容和个人体验都是针对二次元静态图片的，可能有些算法在其他方面表现更好，但在这一范围内体验会比较差。

使用的软件为Waifu2x-Extension-GUI（https://github.com/AaronFeng753/Waifu2x-Extension-GUI），本文中包含的算法均为软件中集成的算法，所有超分均放大至源分辨率的两倍。

写这篇文章的起因是发现这些算法实际上输出的图片结果差异有时会非常大，如果只盯着一个算法使用的话一些场景效果会比较差，甚至丢失大量原图的细节内容；顺便说一下个人的评价标准中，图片细节的保留程度是很重要的，毕竟超分辨率是为了把分辨率拉高，总不能传递的信息还更少了吧；另外，由于并没有什么专业知识，所以只能从比较主观的角度来评判，希望能理解。

总共测试了五张图片样张，每张的主要特点各不相同，下面会按各图片的顺序分别分析个人的使用体验和感受；受限于b站可能对图片进行压缩，所有图片原图和超分辨率的输出结果都会打包放到网盘上，有兴趣的话可以文末自取。

图片1：《Sorceress*Alive -the world's end fallen star-》@Fluorite

这张CG属于对算法可能比较友好的类型，勾线很粗，对比度高，色彩艳丽，主体轮廓清晰；选择这张图还有一个重要原因是，这个游戏有两套分辨率的cg，因此这张1080p的图片放大结果可以直接和原生的4k图片进行对比

1.anime4K(降噪1)：乍一看和原生几乎没什么区别，不过仔细看的话会发现比较严重的问题

女主脸上的红晕已经糊成一团了，头发的纹路也有很强的涂抹感，同样的情况也发生在左手手腕的宝石纹路上，细节丢失非常严重

2.waifu2x-ncnn(降噪1)：（其余waifu2x仅为训练模型有所区别，实际效果基本相同，这里不再列出，只放在文末图包里）和原生几乎看不出区别，仅一些线条边缘部分比原生4k略模糊

3.srmd-ncnn(降噪2)：和原生基本一模一样，肉眼基本无法分辨的感觉

4.realsr-ncnn：整体饱和度偏高（有些偏色），边缘部分非常锐利

5.real-esrgan：整体画面发虚，线条比原生更细，也存在饱和度偏高的偏色问题

光晕部分非常模糊，右下角线条过于锐利

6.real-cugan(降噪1)：有些锐化过度了，线条颜色也有偏色，细节上能看出来明显的涂抹感

图片2：《幸福噩梦 Fragmentation dreams》@Purple Software

这张图没有原生高分辨率，选它是因为画纸上有大量纹理细节，很可能会被一些算法抹掉；右侧同时还有文字，可以测试一下不同算法的文字的缩放能力

1.anime4K(降噪1)：文字发虚有阴影，纸张纹路像是刚刷了薄薄一层乳胶漆的水泥墙一样，有些地方糊了但又没完全糊

2.waifu2x-ncnn(降噪1)：效果非常好，美中不足是纸张纹路略有模糊，可能降噪再低一档会好一点，但也不好说

3.srmd-ncnn(降噪2)：纹路线条的细节非常好，强于waifu2x，但文字部分出现了线条断裂的情况（左侧为waifu2x，右侧为srmd-ncnn）

4.realsr-ncnn：线条边缘出现了彩色，纹理非常锐利，文字有阴影

5.real-esrgan：横向纹理非常清晰，但一些更细节的纹路基本全部丢失；文字边缘清晰，比waifu2x表现更好；有明显偏色

6.real-cugan(降噪1)：你干脆把背景涂成纯白的得了（，文字部分有些涂抹感，但整体算清晰

图三：《克洛的时钟》@Purple Software

本图也没有原生高分辨率；选这张图多少有点折磨ai的意思了，勾线极细且主体边缘部分有光晕效果，背景虚化但仍能看清一些细节，另外可能是放进游戏的时候选的降频算法比较垃圾，线条边缘有很严重的锯齿化现象

1.anime4K(降噪1)：涂抹感非常严重，抬走吧

2.waifu2x-ncnn(降噪1)：角色眼部和背景树丛的纹理有些模糊；边缘部分锯齿已经不太明显了

3.srmd-ncnn(降噪2)：细节保留很好，但是你连锯齿都保留下来是否有点。。。有明显噪点，可能需要增大降噪幅度

4.realsr-ncnn：饱和度偏高，有偏色；背景部分细节基本都被抹掉了；抗锯齿效果比waifu2x更好

5.real-esrgan：整体有种雾蒙蒙的感觉，细节保留比较一般

6.real-cugan(降噪1)：锐化效果很好，但一些部分偏色非常严重，左侧路灯光源有涂抹感

你是怎么把暗粉色超成橙色的啊kora；另外由于锐化太高，背景的星星显得非常锐利（？），十分突兀

图四：《在月之彼岸邂逅》@tone work's

本图整体较暗，但部分区域明暗对比强烈，且有大量光点和光晕效果

1.anime4K(降噪1)：作为一个低开销的算法意外的表现不错，除了右上角光点密集区有些模糊之外基本没什么毛病

2.waifu2x-ncnn(降噪1)：没什么毛病，和srmd肉眼几乎不可辨

3.srmd-ncnn(降噪2)：同上

4.realsr-ncnn：高光部分有明显偏色，个人觉得比较致命了

5.real-esrgan：泛光比较厉害，有种雾蒙蒙的感觉

6.real-cugan(降噪1)：和4一样有偏色，不过没那么严重；光点锐化过头了

图五：《明日方舟》@鹰角网络

这张图主要代表和方舟美术风格类似的（即厚涂风）图片，勾线不明显，细节纹理多

1.anime4K(降噪1)：整体观感还不错，但线条比较密集的细节部分基本就糊在一起了

2.waifu2x-ncnn(降噪1)：比1更清晰，但仍然缺少部分细节

3.srmd-ncnn(降噪2)：几乎完美还原细节，也没有偏色问题

4.realsr-ncnn：画面圆滑了很多，怀疑很多细节部分都被算法的降噪除掉了（

5.real-esrgan：明暗对比相比原图和srmd差了很多，而且背景糊得和毛玻璃一样

6.real-cugan(降噪1)：画面整体偏亮，除此之外和4基本一致

总结：waifu2x算法比较万金油，大部分场合都能胜任；另外，有些算法倾向于拉高整体的对比度和亮度以提升观感，会导致部分情况下的偏色问题，个人不太喜欢，我比较倾向于还原源画面的真实细节而不是“好看”；在类似厚涂风格的作品中，srmd算法表现最好，但如果是本身画面质量较差的图片不建议使用此算法；anime4k虽然表现很差但人家速度快，一般用在需要实时渲染输出的情况下，如：https://github.com/Blinue/Magpie

图包下载：链接: https://pan.baidu.com/s/1AyqWsEf8KjNJdSAavi5YQQ?pwd=2vfp 

E6EE2839EDDB5E757A9573CAAB136826#BD95B50804FCE0FC1E42058FBE29300B#257471095#测试图片.rar

算法指路

Anime4K：https://github.com/bloc97/Anime4K

Waifu2x：https://github.com/nagadomi/waifu2x

SRMD：https://github.com/cszn/SRMD

RealSR：https://github.com/nihui/realsr-ncnn-vulkan

Real-CUGAN: https://github.com/bilibili/ailab（原来这玩意是b站搞的吗）

Real-ESRGAN: https://github.com/xinntao/Real-ESRGAN