一篇关于红外图像和可见光图像融合的摘要

2023-09-04 15:48| 来源: 网络整理| 查看: 265

题目：Infrared and visible image fusion methods and applications: A survey

摘要：红外图像可以根据辐射差异将目标与背景区分开来，这在全天候和全天/整夜的情况下效果很好。相反，可见图像与人类视觉系统一致的方式可以提供具有高空间分辨率和清晰度的纹理细节。因此，期望融合这两种类型的图像，这可以结合红外图像中的热辐射信息和可见图像中的详细纹理信息的优点。在这项工作中，我们全面研究了红外和可见光图像融合的现有方法和应用。首先，详细回顾了红外和可见图像融合方法。同时，简要介绍了图像配准作为图像融合的前提。其次，我们概述了红外和可见图像融合的主要应用。第三，讨论和总结了融合性能的评价指标。第四，我们选择18种代表性方法和9种评估指标进行定性和定量实验，可以为不同融合方法提供客观的性能参考，从而为可靠的可靠证据提供相对工程支持。最后，我们总结了红外和可见光图像融合的现状，并提供了有见地的讨论和未来工作的前景。这项调查可以为红外和可见光图像融合及相关领域的研究人员提供参考。

1. 引言

图像融合是一种增强技术，旨在合并由不同类型的传感器获得的图像，以生成可促进后续处理或有助于决策的鲁棒性或信息性图像。出色的融合方法的关键是有效的图像信息提取和适当的融合原理，这些原理允许从源图像中提取有用信息并将其集成在融合图像中，而不会在过程中引入任何假象[1,2]。在信息爆炸的时代，传感器技术正在迅速发展。复杂应用程序的出现需要有关特定场景的全面信息，以增强对各种条件的理解。相同类型的传感器仅从一个方面获取信息，因此无法提供所有必需的信息。因此，融合技术在现代应用程序和计算机视觉中起着越来越重要的作用。

不同类型的图像（例如可见光，红外图像，计算机断层扫描（CT）和磁共振成像（MRI））是很好的融合源图像。在这些类型的组合中，红外和可见图像融合在许多方面都比较出色。首先，它们的信号来自不同的模态，从而从不同的方面提供场景信息。即，可见图像捕获反射光，而红外图像捕获热辐射。因此，这种组合比单模态信号更具参考价值。其次，红外和可见图像具有几乎所有物体固有的特征。此外，与具有严格要求的诸如CT和MRI的成像技术相反，可以通过相对简单的设备来获取这些图像。最终，红外图像和可见图像具有互补的特性，从而产生了健壮且信息丰富的融合图像。可见图像通常具有较高的空间分辨率和相当多的细节和明暗对比。因此，它们适合于人类的视觉感知。但是，这些图像很容易受到恶劣条件的影响，例如恶劣的照明，雾气和恶劣天气的其他影响。同时，描绘物体的热辐射的红外图像可以抵抗这些干扰，但通常分辨率较低且质地较差。由于所利用图像的普遍性和互补性，因此与其他融合方案相比，可见光和红外图像的融合技术可用于更多领域。对象识别[3]，检测[4]，图像增强[5]，监视[6]和遥感[7]是红外和可见图像融合的典型应用。

融合算法可以采用不同的方案来开发，根据采用的理论，通常分为七类，即多尺度变换[8-10]，稀疏表示[2,11]，神经网络[12,13] ，子空间[14,15]和基于显着性的[16,17]方法，混合模型[18,19]和其他方法[20,21]。基于多尺度变换的方法是图像融合中最活跃的领域，它假定图像将由不同颗粒中的各个层表示。这些方法将源图像分解为多个级别，将特定的图层与特定规则融合在一起，并相应地重建目标图像。用于分解和重建的流行变换包括小波[22]，金字塔[23]，曲线[24]及其修订版本。基于稀疏表示法的方法是基于图像的可能表示形式，该图像具有稀疏基的线性组合在不完全字典中，这是其良好性能的关键。基于神经网络的方法模仿了人脑的感知行为来处理神经信息。该程序具有适应性好，容错能力强，抗噪声能力强的优点。基于子空间的方法使用了类似的想法，但在具有完整基础而不是过度完整的空间中实现了它们。主成分分析（PCA），非负矩阵分解（NMF）和独立成分分析（ICA）是此类中的主要方法。基于显着性的方法基于这样一个事实，即人类的视觉注意力通常被比其邻居更重要的对象或像素捕获。此外，这些方法可以保留显着对象区域的完整性，并改善融合图像的视觉质量。上述红外和可见光图像融合方法各有优缺点，同时，混合模型结合了这些方案的优点来提高图像融合性能。其他技术基于总变化[20]，模糊理论[25]和熵[21]。这些方法可以为红外和可见图像融合带来新的视野，这可以激发新颖模型的设计。

近年来，融合算法的理论和应用研究迅速发展。但是，某些问题需要引起注意。适当的信息提取方法是确保良好融合性能的关键。当前的几种方法，尤其是基于多尺度变换的方法，都依赖于预定义的变换以及用于分解和重建的相应级别。但是，没有标准用于评估这些转换和级别。因此，盲目地选择了转换，从而容易降低性能[26]。此外，当前的融合规则通常过于简单，以致在结果中引入某些伪像（例如光晕）。其他类别的方法也存在一些问题。例如，使用基于稀疏表示的方法来构造具有目标数据的良好表示的合适的不完整字典仍然很困难。另外，合适的稀疏编码技术对于融合性能也很重要。设计适当的神经网络并调整相应参数仍然具有挑战性。此外，将最先进的深度学习技术应用于红外和可见光图像融合尚待解决。在基于子空间的方法中寻找具有强大表达能力的子空间是困难的。同时，根据人类视觉系统设计小生境目标和抗噪声显着性检测方法也具有挑战性，并且使用源图像的显着性仍然是一个开放的问题。此外，结合不同方法的优势来创建增强的混合图像融合模型是红外和可见图像融合中的一个突出问题。以新颖的思路设计新的，良好的红外和可见图像融合方法也很困难。

红外和可见光图像融合是有用的，但其当前方法仍存在若干问题。因此，本次调查旨在专门和全面地审查现有的红外和可见光图像融合算法，并希望为改进此类方法提供启发。与以前的评论相比，这项工作具有某些优势。当前的研究发现，红外和可见光图像融合显着优于源图像的其他组合。但是，当前的评论主要是关于通用融合方法的，并且仅关注红外和可见图像融合的方法，因此缺乏针对性。这项调查是全面而具体的，回顾并总结了几乎所有主要的红外和可见光图像融合方法。此外，这项工作包括红外和可见光图像融合的理论和应用，并讨论了未来研究的相应趋势。最后，本次调查进行了广泛的实验，目的是对典型方法进行客观比较，并以可靠和可靠的证据支持相关工程。

该调查的结构如图1所示。第二部分讨论了不同类别的图像融合和配准方法。第三部分介绍了红外和可见图像融合的主要应用。第4节概述了用于测量融合质量的指标。在第5节中，我们进行了广泛的实验以比较每个类别中的典型算法，并提供客观的性能参考。最后，第6节介绍了有关未来工作的结论和讨论。

2. 红外与可见光融合方法

在本节中，我们全面回顾红外和可见光图像融合方法。这些方法根据其相应的理论分为七个类别，我们将分别对它们进行详细介绍。成功的图像融合是前提条件。即，不同的源图像应事先严格对齐。因此，我们还简要介绍了配准技术，特别是在红外和可见图像配准的情况下。 2.1 基于多尺度变换的方法在过去的几十年中，多尺度变换在诸如红外和可见光图像融合等领域是有效的[27,28]。多尺度变换可以将原始图像分解为不同尺度的分量，其中每个分量代表每个尺度的子图像，而现实世界中的对象通常包括不同尺度的分量[1]。多项研究表明，多尺度变换与人类的视觉特征是一致的，并且这种特性可以使融合图像具有良好的视觉效果[18,29,30]。通常，基于多尺度变换的红外和可见图像融合方案包括三个步骤[1]，如图2所示。首先，将每个源图像分解为一系列的多尺度表示。然后，根据给定的融合规则对源图像的多尺度表示进行融合。最后，在融合表示上使用相应的逆多尺度变换来获取融合图像。基于多尺度变换的融合的关键在于变换和融合规则的选择。接下来，我们在这两个方面的基础上，回顾该类别中的技术。

2.1.1.多尺度变换（1）金字塔变换金字塔变换的概念是在1980年代提出的，其目的是将原始图像分解为具有金字塔数据结构的不同尺度的空间频带的子图像[31]。例如已经提出的红外和可见光图像融合方法：拉普拉斯金字塔[32-34]，可控金字塔[35-37]和对比度[38-41]金字塔。拉普拉斯金字塔变换需要迭代执行以下步骤：低通滤波，采样，内插和微分[31,32]。例如，Bulanon等采用拉普拉斯金字塔变换和模糊逻辑融合水果的红外和可见图像[32]，与仅使用红外图像相比，他们的方法可以实现更好的水果检测性能。可控金字塔变换将源图像分解为不同比例和方向的子图像的集合。这种变换的优点是具有自反转，无混叠，平移和旋转不变的特性[35,42]。例如，刘等提出了一种基于可控金字塔和期望最大化算法的图像融合方法，其性能优于传统的可控金字塔融合方法[36]。对比度金字塔变换源于拉普拉斯金字塔变换，并计算了两个相邻的高斯金字塔低通滤波图像的比率；该模型可以考虑局部对比[38]。 Jin等。提出了一种基于对比度金字塔和多目标进化算法的红外与可见光图像融合方法，其中后者用于优化融合系数。（2）小波变换（3）非采样等高线变换（4）边缘保留滤镜（5）其他多尺度变换方法本人不研究这些因此以上部分没有进行翻译。 2.1.2融合原则（1）组合系数法（2）基于区域的融合规则（3）其他融合原则 2.2 基于稀疏表示的方法 2.2.1 超完备字典结构

2.2.2 稀疏编码以获得系数 2.2.3 融合原则 2.3 基于神经网络的方法神经网络通常由许多神经元组成，因此可以模仿人脑的感知行为机制来处理神经元信息。神经元之间的相互作用是神经元信息传输和处理的特征，而神经网络具有适应性强，容错能力强和抗噪声能力强的优势[158]。这些优点已使神经网络成功应用于各种领域，例如红外和可见图像融合[12,13,37,52,53,62,63,75-77,97,104,122,146,159-161]。大多数基于神经网络的红外和可见图像融合方法都采用脉冲耦合神经网络（PCNN）或其变体。 PCNN由Eckhorn等人提出。在1980年代后期[162]；他们介绍了一种称为Eckhorn模型的神经方法，用于模拟猫的视觉皮层中神经元的同步脉冲和耦合。这些发现激励了PCNN的发展和产生。即Johnson修改了Eckhorn的模型，并将修改后的方法称为PCNN [163]。 1996年，Broussard和Rogers首次在生理学启发的理论模型的基础上将PCNN应用于图像融合，从而证明了PCNN的可行性和优势[164]。从那时起，已经提出了许多基于PCNN及其变体的红外和可见图像融合方法。如图4所示，基于PCNN的红外和可见图像融合方案通常与多尺度变换结合，包括三个步骤。首先，将源图像分解为低频和高频子带。然后，利用各种策略来获得融合的低频和高频子带。最后，应用逆变换方法来生成最终的融合结果。不同的图像融合方法可能采用不同的多尺度变换方法，例如可控金字塔[37]，提升固定小波变换[52]，冗余提升不可分离小波多方向分析[53]，轮廓波[62,63] ，NSCT [12,75–77]，curvelet [97]，shearlet [104]，非下采样的scraplet变换[13]和内部生成机制[122]。基于PCNN的红外和可见图像融合方案的关键在于在融合策略中使用PCNN，许多研究人员已在高频子带中使用了PCNN [12,37,52,53,62,63,75，77， 97,104,122,159]。例如，Li等提出了一种改进的PCNN模型，用于调整NSCT域中的高频系数，同时采用区域方差积分规则融合低频子带系数[75]。 Xi等在高频子带中采用了PCNN，它是由快速离散曲波变换生成的，用于模拟人类视觉系统的生物活动[97]。另外，也可以采用PCNN融合低频和高频子带系数[12,52,57,62,77,104,159]。例如，Chai等采用提升平稳小波变换来获得原始图像的灵活多尺度平移不变表示，并使用双通道PCNN融合了高频和低频子带系数[52]。可以采用组合多尺度变换和基于PCNN的红外和可见光图像融合方案以外的方法将PCNN应用于图像融合。例如，Chen等， Lu等人在压缩域中采用了PCNN [160]。采用PCNN分割源图像并融合目标系数[146]。此外，某些融合方法基于改进的PCNN模型[13,76]。 Kong等提出了一种单位快速链接PCNN以融合高频和低频子带系数，从而利用单位链接和快速链接PCNN的优势[76]；他们还提出了一种空间频率PCNN来融合高频和低频子带系数，这些系数使用非下采样的Slicelet变换分解[13]。近年来，深度学习已在计算机视觉，模式识别和图像处理等各个领域展示了最先进的性能。深度学习具有对数据之间的复杂关系进行建模的强大功能。此外，深度学习无需人工干预即可自动从数据中提取独特的功能[165]。因此，深度学习也已成功应用于图像融合，例如多焦点图像融合[166,167]，多模式图像融合[141,168,169]，遥感图像融合[170,171]以及红外和可见图像融合[ 172]。据我们所知，只有一种基于深度学习的融合方法专门用于红外和可见图像融合。具体来说，刘等提出了一种基于卷积神经网络的方法，该方法可以从整体上处理红外和可见图像融合中的活动水平测量和权重分配，从而克服了手工设计的困难[172]。然而，有几种通用的图像融合方法可以应用于红外和可见光图像融合。例如，刘等介绍了用于图像融合的卷积稀疏表示[141]；他们从反卷积网络[173]衍生出了这一思想，该网络旨在建立一个层次结构，每个层次包括一个编码器和一个解码器。 Zhong等提出了一种基于卷积神经网络（CNN）的联合图像融合和超分辨率方法，该算法使用从ImageNet数据库中选择的90张图像进行训练[168]。

2.4基于子空间方法 2.4.1 主成分分析 2.4.2 独立成分分析 2.4.3 非负矩阵分解 2.5 基于显著性方法 2.6 混合方法 2.7 其他的红外和可见光图像融合方法 2.8 图像配准多传感器图像的集成可以提供复杂而详细的场景表示，从而提高后续任务中决策的准确性。然而，成功的图像融合要求融合的图像严格地几何对齐[218,219]。这个问题被称为图像配准[220,221]，这是因为不同传感器（例如红外和可见传感器）捕获的图像通常在大小，透视图和视野方面不同。这种对准可以通过硬件（例如，放置分束器）[222]来实现；但是，用于生成对齐图像对的特殊成像设备由于成本高，可用性低而可能不实用，特别是对于需要大规模部署的实际应用[219]。因此，使用基于现成的低成本可见光和红外摄像机的图像配准算法可能是合适的。图像配准已广泛用于许多领域，包括计算机视觉[223,224]，医学图像分析[225,226]和遥感[227,228]。待对准的图像可以在不同的时间从不同的角度或以不同的方式被捕获，这通常是指时间，空间和多方式配准的问题。具体地说，红外和可见图像的配准是指多峰配准的问题。可以在文献[220,224,225]中找到有关注册方法的广泛概述。通常，注册方法可以分为两类，即基于区域的方法和基于特征的方法。接下来，我们简要介绍这两种类型的技术，特别是在红外和可见图像配准的情况下。 2.8.1基于区域的方法基于区域的方法直接处理整个原始图像的强度值。例如，最小化特定度量下像素对应关系之间的总距离。在图像中的突出细节很少的情况下，这些方法是可取的，在这些图像中，独特的信息是由像素强度而不是由显着结构提供的，但是它们会遭受图像失真，照明变化和繁重的计算复杂性的困扰。基于区域的方法有三种主要类型，即类似相关的方法[229]，傅立叶方法[230]和互信息（MI）方法[231]。互相关是一种经典的类似相关的方法[229]，它计算两个图像中的窗口对之间的互相关，并且将具有最大值的互对视为对应。为了解决多模式配准问题，而不是使用标准的图像统计，Roche等人。我们介绍了一种基于概率论的相似性度量，即相关比，它在注册准确性和鲁棒性方面具有明显的实际提高[232]。由于类似的方法在硬件中易于实现，因此经常在实时应用中使用，但是当窗口中的图像内容经历复杂的转换或包含相对平滑且没有明显细节的区域时，它们具有缺点。傅立叶方法利用频域中图像的傅立叶表示[230]。这种方法的一个代表是基于傅立叶位移定理的相位相关方法，该方法最初被提出来处理图像平移，后来又扩展到考虑旋转和缩放[233]。红外和可见光图像配准中的应用在[234]中进行了描述，其中傅立叶梅林变换用于解决多峰性质以及空间畸变问题。与类似相关方法相比，傅立叶方法具有计算效率高，针对变化的成像条件和频率相关噪声的强大鲁棒性的优势。互信息方法利用互信息作为度量来最大化两个给定图像之间的统计依赖性，然后相应地建立像素对应关系[231]。这些模型在基于边缘或梯度幅度的方法难以解决的领域中运行良好，因此特别适合配准多峰图像。但是，对于红外图像和可见图像对，其纹理通常会显着不同。这样，互信息就可能只在很小的一部分上而不是在整个图像上有效[235]。因此，在应用互信息之前，应选择一些显着区域，例如具有相似边缘密度或检测到前景的区域[236]。而且，可以对提取的特征而不是图像强度（例如，从形状轮廓[237]采样的点）进行互信息操作。

2.8.2基于特征的方法基于特征的方法首先提取两组显着结构（例如特征点），然后确定它们之间的正确对应关系并据此估计空间变换，然后将其进一步用于对齐给定的图像对。与基于区域的方法相比，基于特征的方法对典型的外观变化和场景移动具有更高的鲁棒性，并且如果正确实施，则可能会更快[218]。通常，基于特征的方法包括两个主要步骤，即特征提取和特征匹配。前者是指对显着和独特对象的检测，而后者是指在检测到的特征之间建立对应关系。基于特征的方法的第一步是提取可以表示原始图像的鲁棒通用特征。对于表现出两种不同现象的红外图像和可见图像，外观特征具有全局统计依赖性，包括灰度/颜色，纹理（例如Gabor滤镜[238]）和梯度直方图（例如SIFT [239]和HOG [240]） ]），不太可能匹配。相反，代表显着结构的特征是优选的，例如角点[241]，边缘图[218]，轮廓[242]，轨迹[235]，视觉显着特征[212]和混合视觉特征[243]。在这些功能中，边缘信息是红外和可见光图像配准的最流行选择之一[218,242,244]，因为其幅度和方向可以在不同的模式中很好地保留。图5显示了基于边缘信息的红外和可见图像配准的典型示例。从两个图像中获得显着特征后，我们需要在它们之间建立正确的对应关系。通常，可以将诸如边缘贴图和曲面之类的高级特征离散为点集。因此，减轻了配准问题，从而确定了对应关系并估计了两组点特征之间的转换[218]。解决点匹配问题的一种流行策略涉及两个步骤[245] ：( i）计算一组推定的对应关系，然后（ii）通过几何约束去除异常值。在第一步中，通过修剪所有可能的点对应关系的集合来获得假定的对应关系实例。通过计算这些点的特征描述符[239,246]并消除其描述符过于相似的点之间的匹配，可以实现此方案。但是，仅使用局部特征描述符将不可避免地导致大量错误匹配。在第二步中，基于几何约束的鲁棒估计器用于检测和消除异常值。为了从推定的集合中去除错误的匹配，在过去的几十年中已经提出了许多方法。最广泛使用的鲁棒估计器之一是随机样本共识（RANSAC）[247]，它采用假设和验证方法，并尝试获得最小的无异常值子集，以通过重采样来估计给定的参数模型。 RANSAC算法在红外图像和可见光图像的配准中取得了成功[212,235,243]。但是，该模型依赖于预定义的参数模型，当基础图像转换非刚性时，该模型的效率会降低；当错误匹配的比例变大时，它也趋于严重退化。为了解决这些问题，最近引入了几种非参数插值方法[245,248]，尤其是在红外和可见图像配准的情况下[218,242]。具体来说，为了处理面部识别中的表情和姿势变化，Ma等人。提出了一种正则化的高斯场准则，以非刚性方式对齐红外和可见脸[218]。此外，作者为非刚性变换估计引入了一种稀疏近似，可以在不牺牲配准精度的情况下将计算复杂度从三次降低为线性。 3. 应用通过组合红外和可见光源信息而产生的融合图像具有许多互补性。例如，这些图像通过传递某些纹理使红外图像更生动。因此，融合算法可以嵌入许多应用程序并改进原始方法。使用融合技术的主要应用包括识别[118,250,251]，目标检测[4,252,253]，跟踪[254,255]，监视[6,7,256]，彩色视觉[257,258]和遥感[259,260]。在本节中，将介绍在这些技术领域中应用的算法，以全面了解它们的特性和性能。 3.1 用于识别的融合给定一幅包含一个或某些对象的图像，识别的目的是指定目标对象的类别。人脸识别是采用红外和可见融合技术的主要识别应用之一。使用红外和可见图像融合的识别算法有两种。第一类是两阶段识别：首先进行融合，然后利用融合结果进行识别。在第二类中，融合算法被嵌入到识别过程中，其中很难区分两个过程之间的边界。 Faten等人提出的算法[261]。它解决了面部识别中近红外和可见图像融合的问题，在该问题中，经常需要在远处而不是在近距离处识别人。该模型使用小波变换分解原始人脸图像，然后在融合过程中应用SVD和PCA。通过使用窄带图像来增强融合效果，该方法可以提高识别精度。此类的其他方法通常更改分解算法或融合规则，以实现针对特定情况的增强的可见性。例如，Heo等。使用加权平均值[251]，并在[118]中使用固有模式函数代替离散小波变换来分解原始图像。类似的方法包括[250,262,263]。同时，Richa等。提出了一种带有分类器的融合算法[3]。在这种方法中，使用2v颗粒SVM来学习原始图像在多个分辨率下的全局和局部特征，这些特征用于确定红外图像和可见图像之间的相对权重。然后，通过2D对数极地Gabor特征匹配和局部二进制图案特征匹配来同时处理融合图像。最后，通过Dezert-Smarandache匹配分数融合判断结果，以确定是否成功识别出候选人。与其他算法相比，即使在可见光和红外图像在严重干扰下提供相互矛盾的结果时，该方法也显示出显着的优越性。存在与红外和可见图像融合有关的其他生物识别应用。提出了一种基于眼周区域的人识别算法[264]，以解决监视中的严重遮挡问题。在这种方法中，图像集由红外和可见图像组成，而不是单波段数据，并且使用了特征分数融合。该算法可以识别只有眼周区域可用的人。利用Haar小波方法开发了虹膜识别算法[265]。在这种方法中，融合是在匹配分数级别执行的。 3.2 用于检测和追踪的融合基于红外和可见光图像融合的检测已广泛应用于许多现实应用中，例如普通物体检测[266]，行人检测[267]和水果检测[32]。与识别不同，它应同时确定对象的准确位置。根据实现过程，基于融合算法的检测方法主要可以分为两类：（1）检测前融合的检测方法和（2）融合前检测的检测方法。许多算法采用前一种样式。 Emna等提出了一种包括多尺度分解，低级融合和背景建模检测的两阶段方法[268]。该算法的主要思想是通过融合图像背景模型中的帧间差异检测对象。由于融合过程的简单性，该算法很快。但是，在移动物体的情况下，它会退化，可能会蒙上阴影，并因照明的变化而引入噪声。他等。提出了一种具有多级融合和增强功能的目标检测算法[213]。在该方法中，考虑了像素级和特征级融合，并探索了低频信息与高频分量之间的关系，这种关系通常在小波变换融合中被忽略，以增强目标可见性。该模型在融合细节和检测精度方面显示出优越性。此外，使用这种方法可以检测到普通算法无法找到的弱红外目标。对于第二类，基于Jose等人提出的INT3框架[269]的人员检测算法。是一个典型的例子[270]。在此框架中，将输入源图像进行分割，然后在像素级别进行融合，从而生成目标对象的可能候选对象。在此步骤之后，执行检测算法（例如基于可变形零件的模型）以搜索目标。尽管检测只是在表面上落后于融合，但是在融合之前实施的候选者分割过程是检测的重要组成部分。除了检测和识别之外，该方法还可以嵌入流行的视觉任务，例如跟踪或事件解释。因此，该框架基于红外和可见图像的融合结果，为多任务实现提供了统一的解决方案。目标跟踪算法与检测有一些相似之处，它应确定帧之间的关系并按时间顺序检测目标对象。在目标跟踪中，应快速实施算法，因为在大多数情况下，跟踪是按时间序列的视频或图像执行的。因此，在融合过程中通常使用基于多尺度分解的方法。斯蒂芬等。通过应用PCA加权融合规则，而不是简单的组合，例如金字塔分解后的平均或最大选择，[271]提出了一种通过红外-可见图像融合的增强目标跟踪方法。利用小波变换和模糊推理融合[272]，设计了一种基于红外和可见光图像融合的目标跟踪系统，用于无人机。除了基于多尺度分解的方法之外，使用稀疏表示[255,273]来实现融合的算法在目标跟踪中也很重要。这种方法的关键是为特定任务找到具有强大表示能力的适当字典。在大多数用于识别，检测和跟踪的算法中，融合是一个相对独立的部分，旨在提高原始图像的可见性或纹理。与某些端到端方法（例如CNN）不同，应选择合适的识别或检测算法以在特定目标任务中产生出色的融合图像。 3.3 用于监控的融合

如图6所示，监视需要清晰，健壮和富有表现力的图像或视频。红外和可见图像的互补特性使它们成为完成此任务的良好融合源。给定红外和可见图像的图像特征不同，它们可以在各个方面提供对象信息。红外图像捕获不受光照，天气和其他干扰变化影响的物体的热辐射。然而，红外图像的空间分辨率低，因此很难区分细节。通过对比，可见图像的空间分辨率高并且色彩丰富，这使得其中的物体生动且易于识别。这两幅图像的融合显着提高了可视性，并有助于一些实际应用。监视方法通常用于处理视频，因此需要快速实施。因此，通常以多尺度的方式开发为监视应用而设计的融合算法。刘等。运用红外和可见光图像融合技术通过离散小波变换和区域分割提高了无人机的可见性[45]。在[274]中实施了框架变换，将NSCT应用于夜视监视系统的分解过程中[275]，并将级联小波变换和Robert算子用于具有混合融合算法的具有多个传感器的监视系统中[276] 。也存在从其他方面设计的融合模型。 Ma等。从另一个角度解决了融合问题，并提出了一种融合方法[20]，该方法可以通过采用总变化和梯度传递将低分辨率的红外图像转换为高分辨率的图像。该算法可以应用于图像而无需配准，并且在面部图像增强中有效地工作。随后，通过提供有关可见图像强度的附加信息，提出了该模型的改进版本[200]。该算法生成的融合图像自然，细节丰富。通过在乘法器交替方向方法的框架内解决融合问题，可以快速实现该算法。 3.4 用于色觉的融合人类的视觉系统只能感知可见光。因此，必须将来自目标物体或场景的热辐射信息转换为伪彩色图像。长时间未使用合适的渲染方案，并且融合结果已由灰度图像表示。这种方法降低了监视性能，因为人的视觉系统可以区分上千种颜色，但只能辨别大约100种灰度强度[277]。 Reinhard等人提出的颜色转移[5]。是该领域的突破。在该方法中，将主成分空间中的自然图像的统计量转移到多频带图像，以使灰色图像具有自然外观。要求多波段图像显示与源图像相似的场景，以免显示出奇怪的外观。该方法的过程如图7所示。对于红外和可见光图像融合，使用的原始图像来自同一场景。因此，这种融合可以产生令人满意的结果。随后进行了改进该传输方案的研究。 Toet等将RGB三色刺激转换为XYZ三色刺激，并使用lαβ变换实现颜色转移，同时优化亮度对比度[278,279]。 Tsagaris等用NMF代替PCA在融合方法中找到基于加性零件的表示[189]。程等通过开发与以前所有工作完全不同的深度神经网络，提出了一种伪彩色渲染算法[280]。该算法将神经网络提取的高级特征与自适应图像聚类相结合，以提高着色性能，并且优于以前使用颜色转移开发的算法。但是，此方法依赖于大型训练数据集来学习强大的表示形式。没有足够的训练样本，很难在应用中获得良好的结果。

3.5 其他应用的融合红外和可见图像融合技术也广泛用于其他领域。典型的领域包括遥感，文物分析和增强现实。使用红外和可见光图像融合的遥感技术可以在多种条件下使用。 Li等提出了一种使用图像配准和融合的中空无人飞行器遥感系统[260]。引入了粒子群优化算法以提高效率，并通过PCNN实现了融合方法。利用多轮廓波变换[281]开发了一种适用于红外和可见遥感图像的自适应融合方法。该方法在方向选择性方面很有效，并且在融合过程中可以捕获有关细节的大量信息。提出了一种类似的方法[282]来解决天文图像中的融合问题。代替多轮廓波，未融合的双树复数小波变换表现出位移不变性，在融合过程中被应用以减少噪声。 Lu等提出了一种长波红外高光谱和可见光图像的协同分类方法[283]。在这种方法中，提出了一种新的特征提取方法，即半监督局部判别分析。与其他在像素级别融合的方法不同，此方法在红外和可见图像的决策级别融合。还介绍了利用融合技术在遥感上开发的应用程序，例如城市目标检测[284]和地球静止气象卫星图像融合[285]。红外和可见光图像融合还用于遥感以外的领域。梁等提出了一种基于可见光和红外图像融合的极化去雾方法，以提高可见性[286]。该方法使用多尺度定向非局部均值滤波器来实现高鲁棒性和最小误差点。但是，该算法的实现消耗了大量时间，因此不适用于某些实时应用程序。李等人提出了一种融合方法来分析古壁画的变质风险[273]。彩色和热图像的融合技术被开发用于救援机器人中的增强现实[287]。在农业领域，近年来提出了预测苹果果实硬度和可溶性固形物含量的技术[288]。医学成像领域中红外和可见光视频的融合算法已帮助改善了对关键胆道结构的临床术中评估[289]。当前的红外和可见图像融合算法主要是在像素级别开发的。尽管融合的图像可以提供有关场景的补充信息，但是由于不合适的融合规则，在许多算法中仍会出现诸如光晕之类的失真。这些不希望的更改会限制或降低基于相应融合方法构建的应用程序的性能。具有良好融合原理和强大表示能力的方法结合了像素级语义特征，将大大改善当前的应用程序，并有助于发明不同领域的先进系统。 3.6 执行环境许多融合算法涉及大量计算，并且需要大量时间才能在计算机上实现常规计算目的。但是，基于红外和可见图像融合的许多现实应用，例如视频监视，都要求该算法有效实现令人满意的性能。因此，已经设计了涉及专用计算机的实现方法以加速该过程。实现方案有两种主要类型：基于现场可编程门阵列（FPGA）的体系结构和基于计算统一设备体系结构（CUDA）的实现。与通用计算机相比，FPGA具有许多优势。它具有低功耗/耗散比和巨大的处理吞吐量，因此具有能源效率，可以设计用于并行计算[290]。芯片的可编程特性还使得能够开发紧凑且便携式的融合系统，该系统可用于无人驾驶飞机等平台。文献中只有很少的尝试使用FPGA设计融合系统。使用小波变换的无人驾驶飞机可能是最早在FPGA上开发的系统[291]。当前，已经设计了一种在FPGA上开发的通用融合系统，该系统具有三级金字塔变换和快速且自适应的二维经验模式分解（FABEMD）[290,292]。之所以进行这种设计是因为金字塔变换和FABEMD的分解和融合特性使该模型适合于FPGA中的并行计算。除了与分解和融合有关的模块之外，还设计了用于图像输入的本地缓冲区，以满足即时访问数据的要求。还开发了一种使用线性变换的融合方案，称为Cholesky分解。该方法已在使用ALTERA Cyclone II FPGA开发的系统中以VHSIC硬件描述语言[293]实现。加速实施的另一种典型方法是通过CUDA。有关相关体系结构的文献有限。在[294]中介绍了一种基于离散小波变换的多尺度方法。但是，使用图形处理单元实现的其他融合算法的类似体系结构可以作为很好的参考[295-297]。 4.图像融合的性能评估在过去的几十年中，红外和可见光图像融合已经在信息融合中引起了相当大的关注，并且已经提出了几种图像融合方法。由于图像融合技术的进步，红外和可见光图像融合技术已广泛用于不同的应用中，例如对象识别，跟踪和监视。然而，不同的融合方法具有不同的特性，并且融合方法在现实生活中的性能在很大程度上取决于融合图像的质量。因此，应该定性和定量地评估不同方法的融合性能[298]。已经提出了许多质量评估方法来评估不同的红外和可见图像融合方法的性能，它们可以分为主观和客观评估方法[299]。质量评估方法可用于比较不同融合方法的性能，并可作为在实际应用中选择融合方法的指南。评估方法也可以用于调整融合方法的参数。主观评估方法基于人类视觉系统评估融合图像的质量，并在融合质量评估中发挥重要作用。人为的主观推断可以根据几种标准，如图像细节，物体完整性和图像失真，一贯比较不同的融合方法；因此，主观评价方法在红外和可见光图像融合的质量评价中是流行，可靠和直接的。尽管如此，最简单的主观评估方法是由训练有素的观察者对融合图像进行评分，这具有人工干预，耗时长，成本高和不可复制的缺点[299]。为了克服这些问题，已经提出了一种客观的评估方法，该方法可以定量和自动地测量融合图像的质量。与主观评估方法不同，客观评估方法可以定量评估融合图像的质量；它们与人类的视觉感知高度一致，不易被观察者或口译人员所偏见。客观评估方法有不同类型，它们基于信息论，结构相似性，图像梯度，统计数据和人类视觉系统。在本节中，我们简要介绍一些代表性的图像质量评估措施，这些措施在表1中列出。我们分别使用A，B和F表示红外，可见和融合图像，并使用X表示源图像变量。大小为M×N。（1）熵（2）共同信息（3）特征共同信息（4）结构相似性指标测度等 5. 实验在本节中，我们选择18种代表性方法和9种评估指标来进行实验，这些实验可为不同的红外和可见图像融合方法提供客观的性能参考，从而以可靠且可靠的证据支持相关工程。代表性的红外和可见光图像融合方法如下：LP1 [31]，Wavelet2 [44]，NSCT3 [69]，双树多分辨率离散余弦变换（DTMDCT）4 [116]，交叉双边滤波器（CBF）5 [ 84]，混合多尺度分解（HMSD）6 [91]，基于引导滤波的融合（GFF）7 [79]，基于各向异性扩散的融合（ADF）8 [82]，ASR3 [138]，LP和稀疏表示（LPSR）3 [18]，方向信息驱动的PCNN（OI-PCNN）9 [161]，NSCT域中SF驱动的PCNN（NSCT-SF-PCNN）10 [159]，定向离散余弦变换和PCA（ DDCTPCA）11 [179]，FPDE12 [14]，基于视觉显着性的两尺度图像融合（TSIFVS）13 [80]，局部保留LC（LEPLC）[16]，梯度转移融合（GTF）14 [20] ]和IFEVIP15 [209]。 LP，小波，NSCT，DTMDCT，CBF，HMSD，GFF和ADF是基于多尺度变换的代表性方法，ASR和LPSR是基于稀疏表示的代表性方法，OI-PCNN和NSCT-SF-PCNN是代表性的神经网络基于网络的方法，DDCTPCA和FPDE是代表性的基于子空间的方法，TSIFVS和LEPLC是代表性的基于显着性的方法，GTF和IFEVIP属于其他方法类。这18种方法中的许多方法（包括GFF，LPSR，NSCT-SF-PCNN，DDCTPCA，TSIFVS和LEPLC）可以被视为混合模型，因为它们结合了不同的方法。 LPSR是一种混合的多尺度变换和稀疏表示方法，NSCT-SF-PCNN是一种混合的多尺度变换和神经网络模型，DDCTPCA是一种混合的多尺度变换和子空间方法，而GFF，TSIFVS和LEPLC是混合的多尺度变换和显着性方法。实验是在配备3.3 GHz Intel Core CPU，8 GB内存和MATLAB代码的台式机上进行的。 18种代表性图像融合方法的代码均公开可用，其参数均按照原始研究中的参数进行设置。 6.结论与展望在过去的几十年中，红外与可见光图像融合已经引起了广泛的关注并取得了长足的进步。因此，我们全面调查了现有的红外和可见光图像融合方法和应用。这些方法可以分为七类：基于多尺度分解，基于稀疏表示，基于神经网络，基于子空间，基于显着性以及混合方法和其他模型。根据核心思想，理论，过程和进展简要介绍和总结了每个类别。图像配准会严重影响融合性能；因此，我们简要回顾一下现有的注册技术。红外和可见光图像融合方法由于其优势和进步，已广泛用于不同的应用中，例如对象检测和识别，跟踪，图像增强，监视和遥感。然后，我们总结了几种常用的红外和可见图像融合评估指标，以评估研究的红外和可见图像融合方法的性能。此外，我们进行了广泛的实验，以评估不同代表性方法的性能，从而有可能为红外和可见光图像融合领域的研究人员提供客观的性能参考，从而以可靠且可靠的证据支持相关工程。尽管在红外和可见光图像融合方面已经取得了长足的进步，但仍有一些问题需要进一步研究。基于多尺度变换的红外和可见图像融合方法通常固定基函数和分解级别。选择灵活的基函数仍然是具有挑战性的，该函数允许以数据驱动的方式选择源图像的最佳表示，并且分解级别的自适应选择仍有待解决。基于边缘保持滤波的方法已被广泛用于图像融合，并且可以将高效，鲁棒和通用的滤波器（例如，原始滤波器的扩展）设计用于红外和可见图像融合。传统的基于稀疏表示的融合方法通常采用基于补丁的程序，忽略了不同补丁之间的相关性，导致细节信息的丢失。将来，可以考虑不同补丁之间的相关性，以提高融合性能。卷积稀疏编码可用于增强细节信息。这个想法是由反卷积网络驱动的，该网络旨在建立源图像的稀疏表示的层次结构。很少有基于深度学习的融合方法专门用于红外和可见图像融合。将来，最先进的深度学习技术可以应用于红外和可见图像融合。例如，可以设计更有效的深度模型来执行连结活动水平的测量和权重分配。红外和可见光传感器的成像机制有所不同。因此，我们应该分别设计红外和可见光图像的针对生态位的显着性检测方法。物体的热信息通过红外图像中的像素强度反映出来，使用显着性检测方法时，容易将具有严重噪声的区域视为目标。因此，应在以后的工作中设计抗噪显着性检测方法。不同的红外和可见光图像融合方法各有千秋，各有千秋应该结合起来以获得有效的混合图像融合方法。红外和可见光图像传感器的空间分辨率有时会有所不同。因此，将来可以执行联合图像超分辨率和融合。传统的红外和可见图像融合方法通常会忽略噪声。联合图像降噪和融合可以在未来的工作中进行。没有严格对齐的图像对会导致融合图像中出现重影。原始图像和融合图像之间显着结构的不一致可以为图像配准提供指导。因此，在设计融合规则时可以将空间变换视为变量，并且可以同时进行配准和融合以消除重影。传统的融合方法主要集中在设计适当的原则上，以尽可能地在源图像中保留有用的信息。将来，融合方法的发展也应侧重于应用。例如，融合应产生特定应用中的有价值的信息，而不是产生信息丰富的融合图像。融合性能评估方法通常使用边缘和强度来计算红外图像和可见图像对融合图像的贡献，但是这些功能与人类的视觉系统并不一致。一种趋势是设计特征，这些特征表示符合人类视觉系统的视觉信息。另一个趋势涉及提出一种新模型来表示融合图像和源图像之间的信息转换。由于融合算法的定性性能可能并不总是与其定量性能相匹配，因此希望设计出可以与融合图像的定性性能相匹配的新指标。

【本文地址】

公司简介

联系我们