影像匹配基本算法(摄影测量)

影像匹配实质上是在两幅(或多幅)影像之间识别同名点，它是计算机视觉及数字摄影测量的核心问题。由于早期的研究一般使用相关技术解决影像匹配问题，所以影像匹配常常被称为影像相关。

根据影像匹配过程中匹配基元选择的不同，影像匹配方法可分为像方基元匹配和地面元匹配两类。像方基元匹配是以影像上的像元或特征（点特征、线特征、面特征）为待匹配基元，利用像方信息（灰度或特征向量等）进行匹配准则的定义与计算，在像方侧完成同名像点的搜索确定。像方基元匹配方法总体上可分为局部影像匹配方法和全局影像匹配方法两类。另外，对于局部或全局匹配方法得到的视差，通常还要进行视差优化处理，以滤除错误视差、填补视差空洞等。而地面元影像匹配是以已知物方平面坐标（Ｘ，Ｙ）的地面点作为待匹配基元，影像匹配的目的是确定地面基元的物方高程Ｚ。由于地面元影像匹配方法能直接确定地物的空间三维坐标， 其也被称作基于物方的影像匹配方法，在数字表面模型生成、数字线划图绘制等地理信息产品生产过程中具有重要的应用。

像方匹配基元中局部匹配方法：SAD、SSD、NCC\ZNCC、Census-Transform、Mutual Information、PatchMatch 像方匹配基元中全局匹配方法：Graph Cut、Belief Propagation、Dynamic Programming 像方匹配基元中半全局匹配方法：SGM

地面元匹配方法：PMVS、VLL/MVLL

当然啦，本文的重点是摄影测量里的影像匹配算法，虽然有些算法与前面局部匹配方法中的相似，但叫法不同。摄影测量中基于像方的匹配算法（常见的五种算法）：1.相关函数法；2.协方差函数法；3.差平方和法；4.差绝对值和法；5.相关系数法。实验表明，相关系数法影像匹配算法的成功率最高，所以这里就简单介绍一下基于像方的匹配算法——相关系数法以及基于物方的匹配算法——铅垂线轨迹法(VLL-Vertical Line Locus),还有摄影测量中最常用的最小二乘影像匹配算法。

相关系数法是标准化的协方差函数，协方差函数除以两信号的方法即得相关系数。g(x,y)与g’(x’,y’)的相关系数为： 其中，

由离散灰度数据对相关系数的估计为：

考虑到计算工作量，相关系数的实用公式为

或化为

优点：相关函数是衡量左右影像两个灰度矢量X与Y相似性的一个数值指标。由于相关系数是标准化的协方差函数，因此当目标影像的灰度与搜索影像的灰度之间存在线性畸变时，仍能较好地评价他们之间的相似性程度。(相关系数时灰度线性变换的不变量)。

基于物方的影像匹配可以理解为高程直接解求的影像匹配，已知待定点平面坐标(X,Y),只需确定其高程Z，可以沿过点(X,Y)的铅垂线到左右影像上的投影直线进行匹配，这就是铅垂线轨迹法(Vertical Line Locus),当匹配完成时，点(X,Y)的高程也同时获得了。

假设在物方有一条铅垂线轨迹，则它的像片上的投影也是一条直线。这就是说VLL与地面交点A在像片上的构像必定位于相应的投影差位于的直线上。利用VLL法搜索其相应的像点a1与a2，从而确定A点的高程。这个过程与人工在解析测图仪或立体测图仪上的过程十分相似。 其步骤为：（1）给定地面点的平面坐标(X,Y)与近似最低高程Zmin,高程搜索步距 Δ \Delta ΔZ可由所要求的高程精度确定。 （2）由地面点平面坐标(X,Y)与可能的高程Zi = Zmin + i * Δ \Delta ΔZ (i = 0,1,2,…),计算左右像坐标(xi’,yi’)与(xin,xin) （3）分别以(xi’,yi’)与(xin,xin)为中心在左右影像上取影像窗口，计算器匹配调度，如相关系数 ρ \rho ρ(也可以利用其他测度)。 （4）将i的值增加1，重复(2)(3)两步，得到 ρ \rho ρ0, ρ \rho ρ1,…, ρ \rho ρn，取其最大者 ρ \rho ρk，其对应高程为Zk = Zmin + k * Δ \Delta ΔZ，则认为地面点A的高程Z = Zk。 （5）还可以利用 ρ \rho ρk及其相邻的几个相关系数拟合一条抛物线，以其极值对应的高程作为A的高程，以进一步提高精度，或者以更小的步距 Δ \Delta ΔZ在一个小范围内重复以上过程。

最小二乘法在影像匹配中的应用是在20世纪八十年代发展起来的。德国Ackermann教授提出了一种新的影像匹配方法——最小二乘影像匹配。由于该方法充分利用了影像窗口内的信息进行平差计算，使影像匹配可以达到1/10甚至1/100像素的高精度，即影像匹配精度可达到子像素等级。

首先来介绍一下影响灰度的系统变形有两大类：辐射畸变、几何畸变。 辐射畸变如何产生：1.照明及被摄物体辐射面的方向；2.大气与摄像机物镜所产生的衰减；3.摄影处理条件的差异以及影响数字化过程中所产生的误差等等。 几何畸变如何产生：1.摄影机方位不同所产生的影像的透视畸变；2.影像的各种畸变；3.由于地形坡度所产生的影响即便；4.竖直航空摄影的情况下，地形高差是几何畸变的主要因素。

最小二乘的匹配原理： 影像匹配中判断影像匹配的度量很多，其中有一种是“灰度差的平方和最小”。若将灰度差记为余差v，则上述判断可以写为： Σ \Sigma Σvv = min。因此，它与最小二乘的原则是一致的。但是，在一般情况下，它没有考虑影像灰度中存在着系统误差，仅仅认为影像灰度只存在偶然误差(随机噪声n)，即 这就是一般的按 Σ \Sigma Σvv = min的原则进行影像匹配的数字模型。若在此系统中引入系统变形的参数，同时按最小二乘 Σ \Sigma Σvv = min的原则，解求这些参数，就构成了最小二乘匹配系统。

最小二乘匹配优点：   1.最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而可以进行整体平差；   2.最小二乘影像匹配即可以解决“单点”的影响匹配问题，以求得“视差”，也可以直接解求其空间坐标；   3.最小二乘影像匹配同时解决“多点”影像匹配或“多片”影像匹配；   4.最小二乘影像匹配可引入“粗差检测”，从而大大地提高影像匹配的可靠性；   5.甚至还可以用于解决影像遮蔽问题。

有n个像素点时误差方程为：

按照 Σ \Sigma Σvv = min的原理，可得法方程式 最后解得： 为什么说仅考虑辐射的线性畸变的最小二乘匹配与相关系数等价呢，接下来解释一下： 将解得的h0,h1带入下面公式，得到 Σ \Sigma Σvv

已知相关系数的定义如下：

所以将 Σ \Sigma Σvv用相关系数表示得到：

以下式相关系数与信噪比之间的关系可见，以相关系数最大作为影像匹配搜索同名点的准则，其实质是搜索“信噪比为最大”的灰度序列。

假设两个一维灰度函数g1(x)，g2(x)，除随机噪声外，g2(x)相对于g1(x)只存在零次几何变形——位移量 Δ \Delta Δx。

最小二乘影像匹配是非线性系统，必须进行迭代，迭代过程收敛的速度取决于初值，因此必须已知初始匹配的结果。（先用相关系数匹配结果作为初始值）

两个二位影像之间的几何变形，不仅存在着相对位移，而且还存在着图形变化。只有充分考虑影像间的几何变形，才能获得最佳的影像匹配。

但是由于影像匹配窗口的尺寸均很小，所以一般只考虑一次畸变。几何变形公式如下：

若同时再考虑右影像相对于左影像的线性灰度畸变，可得

线性化误差方程式：

初始值分别为：

接下来的误差方程及法方程为：

其中矩阵C的值为：

由于在数字影像匹配中，灰度均是按规则格网排列的离散阵列，且采样间隔为常数 Δ \Delta Δ,可被视为单位长度，偏导数均用差分代替。

最小二乘匹配流程图如下所示：

最小二乘影像匹配的迭代过程： （1）几何变形改正； （2）重采样； （3）辐射畸变改正； （4）计算左影像窗口与经过几何、辐射改正后的右方影像窗口的灰度阵列g1与h0+h1·g2(x2,y2)之间的相关系数 ρ \rho ρ,判断是否需要继续迭代； （5）采用最小二乘影像匹配，解求变形参数的改正值dh0,dh1…。 （6）计算变形参数； （7）计算最佳匹配的点位。

在计算最佳匹配点位过程中，匹配精度却决于一个影像灰度的梯度，用梯度的平方为权，在左影像窗口内对坐标作加权平均： 以它作为目标点坐标，它的同名点坐标可由最小二乘影像匹配所求得得几何变换参数求得：

为了进一步提高其可靠性与精度，例如，附带共线条件的最小二乘相关以及与VLL法结合的最小二乘影像匹配方法都得到了广泛的研究。

最小二乘匹配算法，可以根据 σ \sigma σ0以及法方程式系数矩阵的逆矩阵，同时求得其精度指标。 以最简单的一维最小二乘匹配为例：

一般影像匹配包括人工观测在内，要想在缺乏纹理的区域完成匹配和观测是十分困难的，这是因为一般匹配方法每次只能匹配一个点。 如果采用双线性有限元内插与最小二乘匹配相结合的方法，同时答解各网格点的视差，再通过周围点视差平滑约束，可以求得这些地区（小范围纹理缺乏地区）的视差值，从而完成局部整体影像匹配，这就是多点最小二乘影像匹配。