GAN在医学图像综述

  本文统计的截止时间是2019年1月1日之前，统计的论文数据图表如下所示：   图（a）展示了统计的论文中各应用所占的比例，可以看到合成应用占了46%，合成、重建、分割任务占了绝大多数。图（b）展示了统计的论文中所处理的图像模态比例，可看到MR、CT遥遥领先，PET占据的非常少。图（c）展示了应用论文增长的数量，可以看出GAN应用于医学图像的趋势越来越强烈。   自2017年起，GAN在医学图像领域的应用大幅上升。其中，图像合成，特别是跨模态合成已经成为了GAN最重要的应用。MR则是最常用的图像。   由于图像到图像转换框架的普及，这些研究中还有37%属于重建和分割的范畴。在这些情况下，对抗性训练对生成器的输出施加了强烈的形状和纹理调节，使其在这两项任务中非常有希望。   这些研究中还有8%与分类有关。在这些研究中，最有效的用例是域迁移任务。对于在分类中使用GAN进行数据增强的研究工作，大多数集中在生成图像内容变化相对较小的微小物体，例如结节、病变和细胞，而在生成较大图像上，GAN通过数据增强增加分类性能的作用有待探讨。当然，作者还提到，在以下两种情况下，GANs仍然有用。首先，目前深度神经网络的训练严重依赖于数据的扩充，以提高网络对未知测试数据的泛化能力，减少过拟合。然而，现有的数据增强操作都是手动设计的操作，例如旋转，并不能覆盖数据的整个变化。GANS可以允许我们对整个数据分布进行采样，这在扩充训练数据方面提供了更大的灵活性。例如，styleGAN能够生成具有前所未有的细节级别的高分辨率真实人脸图像。这可以很容易地应用于胸部X射线数据集，以生成具有足够数量病例的病理类图像。第二，众所周知，医疗数据分布是高度不均衡的，其最大的部分集中在常见疾病上。对于类风湿性关节炎等罕见疾病，不可能积累足够的训练数据。但是放射科医生已经被训练去检测这些罕见疾病。因此，GANs的另一个潜在作用是合成不常见的病理图像，并很可能是通过条件生成，条件信息由医学专家通过文本描述或手绘图形指定。

  GAN在医学图像的应用方式可以分为两种，一种方式是利用生成器G来帮助探索和发现训练数据的潜在结构和学习生成新的样本，来解决数据缺乏和病人隐私问题。另一种方式是利用判别器D进行分类或是疾病区域的检测。   上图（a)-(f)场景都是利用了生成器G，而(g)场景利用了判别器D。

  因为临床条件的限制，例如辐射剂量和病人的舒适性，采集得到的医学影像的质量常常受限于噪声或者伪影。   大部分的重建工作都是基于Pix2Pix GAN框架或是CycleGAN框架，想查看重建相关论文可以参考原文表1。   为了提高局部结构的重建保真度，许多工作在pix2pix框架中引入了各种不同的损失函数，所有的损失函数总结如原文表2所示。然而，除了依赖于人类观察者或后续的图像分析任务（比如分割、分类）之外，没有可靠的方法来比较它们的有效性。应创建新的参考标准数据集，以便更好地比较这些基于GAN的方法。

  GAN可以帮助解决隐私性问题和训练样本不足的问题。相比传统方法，它生成的图像更具有多样性。

  无条件图像合成指的是从噪声中生成图像，常见的GAN框架包括DCGAN、WGAN、PGGAN等。有关无条件图像合成的论文可以参考原文表4。

  跨模态图像合成指的是从一种模态图像生成另一种模态，比如从MR中合成CT图像。它的优势在于可以减少获取的时间、减少花费和硬件要求。可以生成相同部位的另一模态图像，获得更多的信息。   最常见的框架是Pix2Pix GAN框架、CycleGAN框架以及UNIT框架（多对一合成）。有关跨模态图像合成的论文参考原文表5。

  除了从噪声或是另一可获取模态中合成之外，医学图像还可以通过分割图、文本等进行合成。这些合成工作如表6中所示。

  首先是如何评价生成图像的质量问题，作者提到传统的指标如PSNR、SSIM并不完全符合人眼视觉效果。因此，作者给出如下三个建议：（1）使用后续的图像分析任务（如分类、分割）进行评估；（2）请专家进行评估，但这种方法耗时长、成本高、不易扩展；（3）使用更高级的评估指标，作者提到了一种已经有学者采用的learned perceptual image path similarity (LPIPS)指标。   其次是在跨模态合成图像中，有配对或是不配对的图像训练方式。但未配对训练没有数据保真度损失项，因此无法保证在翻译过程中保留小异常区域。有学者提出警告不要使用未配对合成的图像作为临床应用。在图像合成的过程中，应当特别注意保留局部异常区域（病灶区域）。   最后，作者提出了几点GAN应用的展望：（1）无监督迁移学习，消除由于不同设备获取的图像之间的差异带来的训练模型成本；（2）去除伪影，有助于减少重复检查的次数；（3）异常检测，电子病历到图像的转换等等；