Multi

MVS pipeline

sfm vs slam：

极线搜索：首先选定参考图像一点，沿着匹配图像的极线的某一头走到另一头，逐个比较每个像素与参考图像标记点的相似程度，找到相同点便可恢复该点深度。

说到这里，提一下经典框架MVSNet，其中的cost volume保存的便是这个信息。cost volume表示的是pixel-wise matching cost。

参考图像的一个pixel（记作x），在其拍摄方向给定的深度（d_i）对应着一个三维点（x_i），它投影到matching image会打在某个pixel（x_i）的位置。x与x_i的匹配代价或者说是相似程度，就是cost volume记录的内容。这个cost volume通过多个3D卷积得到一个初始的深度图。最后这个初始深度图（initial depth map）和reference image共同作用，去改善边界范围的准确率。

密集重建MVS的另一个关键问题便是寻找空间中具有Photo-consistency的点。（换言之：具有重叠部分多视图像的密集匹配过程）

光度一致性假设(Photo-consistency) 简单讲，无论你从哪个视角观察目标物体的某一点，它在空间上受到的光度是一样的。所以我们要重建的点在各个二维图像上要有相同颜色，即重建的核心在于恢复空间中具有光度一致性的点。 如下图，首先以像素为中心取一定大小的patch（三维中的微小平面），然后计算颜色的相似性来判断是否为同一个点。 patch：定义在参考图像的像素上，对应空间中的一个微小的平面，能够表达深度和法向量。

唯一性和不变性通常是Photo-consistency度量的两个互相“竞争”的属性。匹配窗口越大，局部表现的唯一性越强越容易匹配其他因素，但同时越难保持光照和视点的不变性。匹配窗口的尺寸需要与图像分辨率和视点间距成正比，与到场景的距离成反比。

Photo-consistency的度量： • 平方误差 Sum of Squared Differences (SSD) 𝜌SSD(𝑓,𝑔)=||𝑓−𝑔||^2 • 绝对值误差 Sum of Absolute Differences (SAD) 𝜌SAD(𝑓,𝑔)=||𝑓−𝑔||1 • 归一化互相关 Normalized Cross Correlation(NCC) 𝜌NCC(𝑓, 𝑔) = (𝑓 − ̅𝑓)(𝑔 − 𝑔̅) / 𝛿𝑓 𝛿𝑔 即，协方差／标准差乘积。其在0～1间取值，0表示相关性弱，1表示相关性强。

Bundle adjustment（BA优化）

目的：2D的特征reproject回三维域内，和真正的3D点的位置会有偏差。但在物理意义上，3D点和投射到摄像机的2D特征点是同一特征点。所以这个误差出现在计算3D点时摄像机自身旋转矩阵和位移向量上。

原理：最小化重投影误差

。。。