| 如何度量两幅图像的相似度 | 您所在的位置：网站首页 › 计算两张图片相似度 › 如何度量两幅图像的相似度 |
如何度量两幅图像的相似度
|
如何度量两幅图像的相似度--结构相似度SSIM 1. 什么是 SSIM结构相似性指数（Structural Similarity Index measure，SSIM）用作度量两个给定图像之间的相似性。 
image
如，这两个图像之间的 相似度=0.7816 SSIM 指标从图像中提取 3 个关键特征： 亮度 对比 结构两个图像之间的比较是基于这 3 个特征进行的 
image
公式：
公式详情见 维基百科 ssim计算原理参考链接 SSIM 有很多变体，如： Multi-Scale SSIM， Multi-component SSIM， Structural Dissimilarity，Complex Wavelet SSIM等等。维基百科可查看更多描述。 2. SSIM 有什么用 用做评价指标，度量两个图像的相似度。比如：做图像恢复/建模的时候，评价图像的恢复情况。用做 loss function: 可用作分割以及图像重建的损失函数。不同的任务用法不一样。也是比较流行的方法。 
image
3. 使用 pytorch 计算 SSIM
这部分是本次的重点，会详细介绍 二维图像以及三维图像的SSIM计算方法， 以及如何用将其用做loss。 本部分实战简单，知识点丰富，内容有趣。一起来学习吧。 3.1 二维图像 SSIM 计算2D SSIM pytorch code 这个代码是 pytorch 计算 SSIM 的标准方法，在github上搜索会发现，大家使用的都是这个方法。 这里我会带领大家一起实现官方的例子。 获得上述 GIF 结果大概需要如下技能： SSIM 的计算 SSIM 用做 loss, 训练一个随机图像接近我们的目标图像(爱因斯坦肖像) 将上述训练中，每个epoch生成的图像保存下来制作GIF 用 Python 给图片加字 用 Python 制作 GIF任务很多，但是每个任务都很简单，我们开始吧~~ 3.1.1 准备工作下载 3.1 节中给出的地址中的代码，copy 整个 pytorch_ssim 文件夹。不知道如何单独下载一个文件夹，查看之前的教程。 Github 单文件快速下载 -- 使用 DownGit 这个文件夹其实就只有一个初始化文件。 
image
如果还是不会下载，就自己新建一个同名文件夹（注意在 pycharm 中选择 新建 python package 而不是普通的文件夹），这样新建好后就会自动创建 __init__.py 文件. 然后把内容复制进去。
image
新建一个项目，把下载好的文件夹放进去。同时下载实验数据 ’einstein.png‘ 爱因斯坦肖像图。此时，你的项目里应该有打勾的3个文件。 
image
3.1.2 官网的第一个案例
第一个案例：随机生成两个二维图像，并计算他们的 SSIM。 import pytorch_ssim import torch from torch.autograd import Variable img1 = Variable(torch.rand(1, 1, 256, 256)) img2 = Variable(torch.rand(1, 1, 256, 256)) if torch.cuda.is_available(): img1 = img1.cuda() img2 = img2.cuda() print(pytorch_ssim.ssim(img1, img2)) ssim_loss = pytorch_ssim.SSIM(window_size = 11) print(ssim_loss(img1, img2))这里 import pytorch_ssim就是我们copy下来的文件夹 调用 pytorch_ssim.ssim直接计算二者的相似度 调用 pytorch_ssim.SSIM大写的SSIM是计算loss,但是二者的计算方法是一样的，只是写法不一样。 3.1.3 官网的第二个案例第二个案例： 使用 SSIM 作为loss, 把随机数训练成目标图像（爱因斯坦）。 这里和官网的代码有些略微差别，官网的copy下来是有BUG的。改过的行 我会在后面 加 ### import pytorch_ssim import torch from torch.autograd import Variable from torch import optim import cv2 import numpy as np npImg1 = cv2.imread("einstein.png") img1 = torch.from_numpy(np.rollaxis(npImg1, 2)).float().unsqueeze(0) / 255.0 img2 = torch.rand(img1.size()) if torch.cuda.is_available(): img1 = img1.cuda() img2 = img2.cuda() img1 = Variable(img1, requires_grad=False) img2 = Variable(img2, requires_grad=True) # Functional: pytorch_ssim.ssim(img1, img2, window_size = 11, size_average = True) ssim_value = pytorch_ssim.ssim(img1, img2).item() ### print("Initial ssim:", ssim_value) # Module: pytorch_ssim.SSIM(window_size = 11, size_average = True) ssim_loss = pytorch_ssim.SSIM() optimizer = optim.Adam([img2], lr=0.01) epoch = 1 ### while ssim_value < 0.95: optimizer.zero_grad() ssim_out = -ssim_loss(img1, img2) ssim_value = round(- ssim_out.item(), 4) ### round 保留4位小数 # save image vutils.save_image(img2, f'SSIMPNG/einstein_{epoch}_{ssim_value}.png') ### 官网教程没有保存每一次迭代的图像，这里我们保存下来。 如果没有SSIMPNG这个文件夹，手动创建一个。 print(ssim_value) ssim_out.backward() optimizer.step() epoch += 1 ###这部分代码也比较简单，就是当 SSIM 值小于 0.95 时一直循环迭代。中途保存每次迭代的图像，之后我们可以查看图像的变化过程。 这里另外涉及到一个知识点： 如何使用 pytorch 保存图片？ 这个链接提供了3种保存方法 到这里 官网的教程结束了，但是我们没有得到想要的 GIF！ 只得到了每个 epoch 的图像 
image
现在我们要做的就是：把每个epoch的SSIM 值写在图像上，然后把这些图像做成GIF。 3.2 在图片上写字，并制作GIF 3.2.1 使用Python在图片上写字主要用到的库： pillow from PIL import Image, ImageDraw, ImageFont # pip install pillow def drawssim(filepath, value): # 打开图像 im = Image.open(filepath) # 告诉系统，你要在图像上画画了 draw = ImageDraw.Draw(im) # 设置字体，大小=50 font = ImageFont.truetype('/usr/share/fonts/truetype/Sarai/Sarai.ttf', 40) # 如何找系统上自带的字体： 百度搜索Linux字体存放位置 # 写内容, 初始位置(30, 10) 颜色红色 draw.text((30, 10), f'ssim = {value}', fill='red', font=font) # 保存 im.save(filepath.replace('SSIMPNG', 'SSIM_VALUE')) if __name__ == '__main__': from glob import glob imgs = glob('SSIMPNG/*.png') for img in imgs: filepath = img value = img.split('_')[-1].split('.png')[0] drawssim(filepath, value)drawssim函数接收一个单独的文件地址和SSIM值，把值写在该图像上，并且保存到 'SSIM_VALUE' 文件夹（如果没有，手动创建） 
image
我们就得到了这样的一些图片。 3.2.2 制作GIF我们把这些图片，按照epoch的顺序依次播放，并保存为GIF。 这里涉及到图片的排序问题。如果我们直接使用 sorted()函数排序 imgs = sorted(glob('SSIM_VALUE/*.png')) 会发现排出来的顺序跟我们要的顺序不一样。 
image
而我们想要按数字大小排序，从1--76. 因此，我们需要自写一个排序算法。 import imageio # pip install imageio # create gif def create_gif(image_list, gif_name, duration=1.5): ''' image_list: 图片列表，文件名 gif_name： 生成的 GIF 文件名 duratuion： 图像间隔时间 ''' frames = [] for img in image_list: frames.append(imageio.imread(img)) imageio.mimsave(gif_name, frames, 'GIF', duration=duration) class sortimg(): def tryint(self, s): try: return int(s) except ValueError: return s def str2int(self, v_str): return [self.tryint(sub_str) for sub_str in re.split('([0-9]+)', v_str)] def sort_humanly(self, v_list): return sorted(v_list, key=self.str2int) if __name__ == '__main__': from glob import glob imgs = glob('SSIM_VALUE/*.png') # 排序 sorted_imgs = sortimg().sort_humanly(imgs) create_gif(sorted_imgs, 'ssim.gif', duration=0.1)sortimg()对列表进行排序(按数字大小)， create_gif()使用imageio制作GIF。 如此我们就得到了之前那个 GIF 图像。官网教程实验已经完美复现啦。 3.3 3D 图像的 SSIM 计算和 loss上述代码只提供了二维图像的计算方法，那如何计算三维呢？ 这里，copy 另一个代码。 3D 代码地址 import pytorch_ssim import torch from torch.autograd import Variable img1 = Variable(torch.rand(1, 1, 256, 256, 256)) img2 = Variable(torch.rand(1, 1, 256, 256, 256)) if torch.cuda.is_available(): img1 = img1.cuda() img2 = img2.cuda() print(pytorch_ssim.ssim3D(img1, img2)) ssim_loss = pytorch_ssim.SSIM3D(window_size = 11) print(ssim_loss(img1, img2))这个代码在原来的基础上新增了几个 3D 函数，同 2D 使用方法一样。 我是Tina, 我们下篇博客见~ 白天工作晚上写文，呕心沥血 觉得写的不错的话最后，求点赞，评论，收藏。或者一键三连 |
【本文地址】