基于风格迁移的超声图像处理方法、装置、设备和介质

1.本发明涉及转化医学与人工智能技术领域，具体涉及一种基于风格迁 移的超声图像处理方法、装置、设备和介质。

背景技术：

2.算法在现在的医学人工智能领域起着至关重要的作用，其中数据对算 法的影响巨大。现阶段几乎大部分算法都是专门为解决某一类问题而研发 的，虽然他们的算法可以在他们收集的数据集上取得良好的结果，但不同 的数据集之间或多或少存在差异，基于一个数据集提出的方法在另一个数 据集上可能不是同样有效的。一方面，该方法的泛化性能受到不同数据集 的数量和质量差异的限制。另一方面，所提出的方法可能不考虑由多个因 素(如不同的机器、不同的设置、不同的操作符等)产生的数据集之间的 差异。3.现阶段的风格迁移方法旨在明确地将内容信息增强到具有特定风格 的图像中，因此训练后的模型仅限于特定的目标风格，不能推广到新的风 格。或者是通过复杂的对抗性训练来学习目标域，导致模型过于复杂和繁 琐。因此目前亟待提出一种基于风格迁移的超声图像处理方法，来消除多 源数据集之间的差异，保证模型的鲁棒性。4.

技术实现要素：信息5.本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于风格 迁移的超声图像处理方法、装置、设备和介质。整体网络架构图由两个模 块组成：数据重建单元、主干模块和自适应单元。主干模块采用多层网络 结构从超声图像中提取多尺度特征。数据重建单元和自适应单元将上下文 信息合并到特征中，以解决分割结果的类内不一致性。整体网络按以下顺 序依次顺序连接：数据重建单元，主干模块，自适应单元。自适应单元反 馈到数据重建单元的风格迁移参数。该数据重建单元采用了一种基于傅里 叶域变换的迁移方法。将源域图像在相位和幅度空间上进行调整，解决了 分布不均的跨域分割问题。自适应单元通过鉴别器自动调整影响样式信息 和内容信息的参数值，无需手动设置相关参数。另外，本发明还能随意迁 移到其他数据中，是一种通用的数据处理方法。因此，本发明可以极大的 减轻不同模型对数据的依赖，能够降低超声医师采集和处理数据的工作量， 自适应的匹配不同的模型。6.本发明的第一个目的在于提供一种基于风格迁移的超声图像处理方 法，所述超声图像处理方法包括下列步骤：7.s1、收集多源超声图像及多源超声图像的标注图像；8.s2、提取多源超声图像的内容信息和样式信息；9.s3、根据迁移参数确定所述内容信息和样式信息的迁移比例，并根据 迁移比例生成风格迁移后的超声图像；10.s4、将多源超声图像和风格迁移后的超声图像输入评估网络得到二值 化超声图像，根据二值化超声图像和多源超声图像的标注图像的评估结果 自适应确定迁移参数取值，并确定风格迁移后的超声图像。11.进一步地，所述步骤s1中收集从不同医学仪器、不同医学仪器设置和 不同操作过程获得的数据，由于在灰度值分布以及颜色对比度上会有较大 差异，需收集多源超声图像，并且对收集到的多源超声图像进行图像标注。12.进一步地，所述多源超声图像首先用傅里叶域进行处理，处理得到的 超声图像的内容信息是傅里叶域的振幅信息，所述多源超声图像的样式信 息是傅里叶域的相位信息。振幅信息比较直观，相位信息虽然没用振幅信 息直观，但是相位能够得到很多振幅信息无法明确表达的信息，通过傅里 叶域能够多角度的学习到超声图像里的信息。13.进一步地，数据重建单元采用基于傅里叶域变换的迁移方法，将多源 超声图像中不同来源的数据分别作为源域图像和目标域图像，使用快速傅 里叶变换分别提取源域图像和目标域图像的幅度信息和相位信息，使用风 格迁移参数，分别将源域图像的中心部分的幅度信息替换掉目标域图像的 中心部分的幅度信息，将目标域图像的中心部分的相位信息替换掉目标域 图像的中心部分的相位信息，将处理后的幅度信息和相位信息使用idft 傅里叶逆变换变为超声图像。数据重建单元主要提取图像中的信息，通过 不同来源的数据之间的迁移来使得两个不同来源的数据分布相互靠近。14.在得到了风格迁移后的超声图像数据之后，把原始的目标域的超声图 像和风格迁移后的超声图像一起输入到主干模块中，主干模块采用深度学 习的方法来对输入的超声图像数据提取特征，通过学习来学习超声图像上 的相应的信息，即得到超声图像和超声图像对应的标注图像的一一对应关 系的非线性表达式，通过主干模块逐次迭代不断的逼近最符合当前数据的 非线性表达式。主干模块主要通过里面的下采样以及卷积块学习来学习超 声图像的低维度信息。通过一种不用人为去设定参数的方法，使用一种反 馈机制去自动调整参数。15.进一步地，所述损失值ldice的损失值用来调整风格迁移参数的指标。 通过主干模块得到的二值化超声图像得到的是多源超声图像里的相应解 剖结构的位置和区域的信息，结合s1中多源超声图像的标注信息，能够对 主干模块的性能进行评估，同时不断的迭代使得不断优化输入主干模块的 风格迁移后的超声图像，进而使得模型不断优化，并确定风格迁移后的超 声图像。16.本发明的第二个目的在于提供一种基于风格迁移的超声图像处理装 置，所述超声图像处理装置包括：17.收集标注模块，用于收集多源超声图像及多源超声图像的标注图像；18.信息提取模块，用于提取多源超声图像的内容信息和样式信息；19.迁移生成模块，用于根据迁移参数确定所述内容信息和样式信息的迁 移比例，并根据迁移比例生成风格迁移后的超声图像；20.评估处理模块，用于将多源超声图像和风格迁移后的超声图像输入评 估网络得到二值化超声图像，根据二值化超声图像和多源超声图像的标注 图像的评估结果自适应确定迁移参数取值，并确定风格迁移后的超声图像。21.本发明的第三个目的在于提供一种计算机设备，包括处理器以及用于 存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时， 实现基于风格迁移的超声图像处理方法。22.本发明的第四个目的在于提供一种存储介质，存储有程序，所述程序 被处理器执行时，实现基于风格迁移的超声图像处理方法。23.发明相对于现有技术具有如下的优点及效果：24.本发明将源域图像在相位和幅度空间上进行调整，解决了分布不均的 跨域分割问题。本发明通过鉴别器自动调整影响样式信息和内容信息的参 数值，无需手动设置相关参数。另外，本发明还能随意迁移到其他数据中， 是一种通用的数据处理方法。因此，本发明可以极大的减轻不同模型对数 据的依赖，能够降低超声医师采集和处理数据的工作量，自适应的匹配不 同的模型。附图说明25.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一 部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发 明的不当限定。在附图中：26.图1是本发明公开的基于风格迁移的超声图像处理方法的流程图；27.图2是本发明实施例的评估网络的网络结构示意图；28.图3是本发明实施例的数据生成示意图；29.图4是本发明不同迁移参数的效果图；30.图5是本发明实施例中数据处理前的分布示意图；31.图6是本发明实施例中数据处理后的分布示意图；32.图7是本发明实施例2中超声图像处理装置的结构框图；33.图8是本发明实施例3中计算机设备的结构框图。具体实施方式34.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。35.实施例1：36.本实施例公开了一种基于风格迁移的超声图像处理方法，主要包括以 下步骤：37.s1、收集多源超声图像及多源超声图像的标注图像；38.步骤s1中收集的数据来自医学采集的多源超声图像，具体形式为不 同医学仪器、不同医学仪器设置和不同操作过程获得的数据。39.s2、提取多源超声图像的内容信息和样式信息；40.其中，内容信息是傅里叶域的振幅信息，样式信息是傅里叶域的相位 信息。提取的内容信息和样式信息过程如下。41.s21、分别提取多源超声图像的内容信息和相位信息。[0042][0043]其中，f(xi)表示对(u,v)进行傅里叶变换，j为虚数，h和w分别表示 图像的高和宽。(u，v)表示多源超声图像中的二维矩阵点位置的横坐标 和纵坐标，经过傅里叶变换后，图像围绕频率矩形进行中心对称。定义mα、 为傅里叶域的二维掩码，使用二维掩模mα、mβ的值来划分非零区 域(即保留振幅和相位信息的区域)，其中α和β的初始值取值为0至1的 随机数：[0044][0045]s22、对于给定的目标域图像和源域图像采用下列公式进行内容信息 和样式信息的处理，并输出风格迁移后的源域图像。为风格迁移后的图 像结果。具体地，源域图像表示当前风格的超声图像，目标域图像表示想 要得到的风格的超声图像。相位和振幅信息映射通过迁移参数确定映射的 比例。[0046]其中，f-1表示傅里叶反变换，通过傅里叶反变换将频谱信号的振幅和 相位映射回原始的二维矩阵空间，和分别表示源域图像的相位 信息和振幅信息，和分别表示目标域图像的相位信息和振幅信 息，°表示矩阵相乘。由式可以看出，源图像相位的低频部分和源图 像振幅的部分被目标图像所取代。然后，将修改后的的光谱表 示映射回图像其内容信息接近并将类似于中的一个样本的外观。 具体的结果展示如图3。其中，使用不同的参数(即内容信息映射参数α 和样式信息映射参数β)，将源图像映射到目标图像，生成预处理后的源图 像。α(从左到右)和β(从上到下)从0递增为0.25，最终的预处理后 的源图像用绿色矩形标记。a、b、c、d代表四个不同源超声数据集里的 示例。如图3为在自适应风格迁移后获得的示例图像。在第一行中，4幅 原始图像来自数据集a、b、c和d。在第二列中，图a是目标图像，源 域图像(即b、c和d)映射到图a，在自适应风格迁移后获得预处理图 像(即b#、c#和d#)。在下面的几列中，b、c和d分别作为目标图像。 将不同于目标图像的图像视为源图像，通过自适应风格迁移进行预处理。 x#表示基于目标图像的映射图像，即风格迁移后的图像。[0047]s3、根据迁移参数确定所述内容信息和样式信息的迁移比例，并根据 迁移比例生成风格迁移后的超声图像；[0048]步骤s3中根据不同的比例参数会生成不同样式信息的数据集，如图4 为其中一组不同源数据根据不同比例参数生成的新的数据集样式信息，其 中α和β表示两个样式信息迁移参数。[0049]s4、将多源超声图像和风格迁移后的超声图像输入评估网络得到二值 化超声图像，根据二值化超声图像和多源超声图像的标注图像的评估结果 自适应确定迁移参数取值，并确定风格迁移后的超声图像。[0050]步骤s4中，使用u-net卷积神经网络来对模型的分割效果进行评判， 在模型中使用了adam优化器，初始学习率设置为0.0003，迭代次数设置 为200，训练批次的大小设置为16。[0051]在训练阶段，不断地监控模型在验证集上的损失变化，以便对学习率 和其他参数进行适当的调整。为了更准确地说，我们使用验证集上的最佳 dice系数结果作为最终模型。所有数据在训练期间像素值被调整为256×ꢀ256以适应硬件环境，并将所有数据根据近似的4：1：1的比例分为三组： 训练、验证和测试。将具有相同母体数据的图像分配到相同的数据集，避 免数据集类似对结果产生影响。最后，网络输出由一个表示背景和前景的 概率图组成，据此来评估模型性能。[0052]本实施例中，步骤s4根据步骤s3中初始得到的不同的比例参数来进 行调整。其中给定自适应的数据集和标签，可以通过最小化的交叉熵损失 来训练一个具有的语义分割网络。[0053]本实施例中，自适应模式流程如下所示。在模型训练之前进行了自适 应模式的执行。将源数据集x(s)和目标数据集x(t)合并到混合生成的数据集 xmix＝x(s)∪x(t)中。在自适应模式下生成一个全新的领域转移数据集x(f)。我 们使用了一种复合数据处理方法：[0054][0055]其中i表示训练过程中的迭代次数。表示风格迁移后的数据集，表 示源域数据集，表示数据集的图像数量，表示傅里叶域自适应函数。 wθ是一个自定义参数，根据数据集的数量和训练批次来进行操作。将生成 的新数据集输入到网络中，并通过acc和dice度量来判断模型的质量。在 自适应模式中，使用一个自定义设置的混合优化器，根据网络反向传播的 梯度信息，更新相位调整参数和振幅调整参数，以进一步降低损耗值。[0056]综上，本实施例提供了一种基于风格迁移的超声图像处理方法，通过 处理后的数据分布显著性变化，通过t-sne方式具象化显示出来。其中△， *为不同源的两个数据集。图5为风格迁移前的数据分布示意图，图6为风 格迁移后的数据分布示意图。如图5和图6可以明显看出，风格迁移后的 数据集的域差距变小，能够有效的降低不同医学仪器、不同医学仪器设置 和不同操作过程获得的数据的域差距导致模型泛化性差的弊端，并得到最 合适的风格迁移图像。[0057]实施例2：[0058]如图7所示，本实施例提供了一种基于风格迁移的超声图像处理装置， 该装置包括收集标注模块701、信息提取模块702、迁移生成模块703和评 估处理模块704，各个模块的具体功能如下：[0059]收集标注模块701，用于收集多源超声图像及多源超声图像的标注图 像；[0060]信息提取模块702，用于提取多源超声图像的内容信息和样式信息；[0061]迁移生成模块703，用于根据迁移参数确定所述内容信息和样式信息 的迁移比例，并根据迁移比例生成风格迁移后的超声图像；[0062]评估处理模块704，用于将多源超声图像和风格迁移后的超声图像输 入评估网络得到二值化超声图像，根据二值化超声图像和多源超声图像的 标注图像的评估结果自适应确定迁移参数取值，并确定风格迁移后的超声 图像。[0063]本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一 一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分 进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的 功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的 全部或者部分功能。[0064]实施例3：[0065]本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图 8所示，其通过系统总线801连接的处理器802、存储器、输入装置803、 显示器804和网络接口805，该处理器用于提供计算和控制能力，该存储 器包括非易失性存储介质806和内存储器807，该非易失性存储介质806 存储有操作系统、计算机程序和数据库，该内存储器807为非易失性存储 介质中的操作系统和计算机程序的运行提供环境，处理器802执行存储器 存储的计算机程序时，实现上述实施例1提出的一种超声图像处理方法， 包括下列步骤：[0066]s1、收集多源超声图像及多源超声图像的标注图像；[0067]s2、提取多源超声图像的内容信息和样式信息；[0068]s3、根据迁移参数确定所述内容信息和样式信息的迁移比例，并根据 迁移比例生成风格迁移后的超声图像；[0069]s4、将多源超声图像和风格迁移后的超声图像输入评估网络得到二值 化超声图像，根据二值化超声图像和多源超声图像的标注图像的评估结果 自适应确定迁移参数取值，并确定风格迁移后的超声图像。[0070]实施例4：[0071]本实施例提供了一种存储介质，该存储介质为计算机可读存储介质， 其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的一种超声图像处理方法，如下：[0072]s1、收集多源超声图像及多源超声图像的标注图像；[0073]s2、提取多源超声图像的内容信息和样式信息；[0074]s3、根据迁移参数确定所述内容信息和样式信息的迁移比例，并根据 迁移比例生成风格迁移后的超声图像；[0075]s4、将多源超声图像和风格迁移后的超声图像输入评估网络得到二值 化超声图像，根据二值化超声图像和多源超声图像的标注图像的评估结果 自适应确定迁移参数取值，并确定风格迁移后的超声图像。[0076]本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、随机 存取存储器(ram，randomaccessmemory)、u盘、移动硬盘等介质。[0077]上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上 述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改 变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明 的保护范围之内。