《High

条纹投影轮廓术已广泛应用于物体的测量，但对高反射率表面的测量仍是一个棘手的问题。本文提出了一种利用透明屏作为摄像机光学掩模的高动态范围(HDR)技术。特别地，在相机的前面放置一个透明的屏幕，通过调整其对应的屏幕像素的强度，可以精确地控制每个相机像素的强度。实验验证了该方法的有效性:与其他方法相比，四步相移方法的动态范围从48.13 dB提高到71.83 dB，且投影图数较少。本研究的意义在于，该方法可以很容易地与其他HDR技术相结合，为结构光技术获得更大的动态范围。

结构光三维测量技术因其快速、非接触等优点被广泛应用于物体测量[1,2]。然而，由于高反射率的问题，金属表面的测量在今天仍然是一个巨大的挑战。根据原理的不同，这些方法可以分为三类:基于多重曝光的方法，基于偏振的方法，基于投影调整的方法[3,4]。 第一个解决方案是基于多重曝光的方法。最初的想法是用低曝光设置测量高反射率区域，用高曝光设置测量低反射率区域。根据这一原理，这些方法在不同的曝光设置下拍摄了多张照片，然后将它们混合成一张HDR图像。例如，Zhang等[5]通过从所有捕获的图像中选择最亮和不饱和的像素点来合成最终的相移模式，其中这些图像通过相等的间隔曝光时间捕获。这很容易实现，但曝光时间的选择是经验的，因此需要大量的图片。为了消除人为干扰，文献[6]提出了一种先获取场景先验知识的方法。特别地，它首先计算场景的亮度直方图，并自动预测几个最佳曝光时间。然而，这种方式的总曝光次数在其实验中倾向于固定在5次，因为它从来没有考虑到相机成像的内在性质。此外，相机响应函数曲线(CRF)是相机获得HDR图像的固有属性，被广泛采用。CRF曲线描述了入射光线的数量和数码相机图像像素值之间的关系。研究[7]对CRF曲线进行估计，其生成的亮度图的动态范围通过衰减函数在梯度域进行压缩，最终将三种不同曝光设置下捕获的图像融合成一张HDR图像。虽然有些研究只要求单次曝光，如[8]方法自动计算全局最佳曝光时间，但这些方法难以平衡准确性和时间消耗。 另一种解决方案是基于偏振的方法[9-13]，如研究[12]提出了多极化条纹投影成像技术，通过选择适当的偏振通道测量来消除饱和点，增强条纹对比度。为了提高测量效率，该方法利用反射光的偏振特性和固定方位角的线偏振光片计算线偏振度，只进行一次曝光重建。相比之下，这些方法的缺点很明显:在光学系统中引入偏振光片引起的折射误差很难消除。此外，偏振器的透光率太低，这意味着图像的整体信噪比(SNR)也很低。 以前的方法的主要问题是，他们试图为整个图像设置适当的全局曝光，而不是为每个像素设置适当的局部曝光。由于展开相位公式是逐像素的，因此调整像素强度并不影响相位计算。 基于这一思想，另一种通用的方法是调整投影模式的强度。特别是对高反射区域降低投影强度，对低反射区域增加投影强度[14-16]。典型地，例如，研究[16]基于反射图像逐像素递归调整的投影图像。 对于这些方法，从相机像素到投影仪像素的映射是至关重要的，因为投影仪需要使用相机来“看到”饱和像素的位置。通常，投影仪和相机之间的像素对应关系是通过在x\y方向上分别投影条纹图案来确定的。然而，由于高反射区域过度曝光，相位信息难以计算。一种简单的方法是投射相移图案，只有一半或四分之一的亮度。当然，这些方法也需要投射更多的图案，尽管它会调整每个像素的局部曝光。 该方法的原理与基于投影强度调整的方法相似。他们的方法解决了投影方面的问题，而我们的方法解决了相机方面的问题。在相机方面，无论是调节光圈、曝光时间还是增益因子，都只能调节全局曝光，不能调节局部曝光。近年来，透明屏技术取得了长足的进步，其透光率可以通过调整像素强度来改变。受此启发，我们在相机前放置了一个透明的屏幕，并利用这个原理来调整相机的像素强度。同样，我们的方法也需要标定屏幕和摄像头之间的像素映射关系，但由于屏幕和摄像头之间的相对位姿关系是固定的，所以只需要标定一次。 正如我们所知，在过去的几年里，研究人员提出了一些类似的方法。最初，LCD在HDR像域中首先与摄像机结合作为空间光调制器(spatial light modulator, SLM)，其原理与我们的方法非常相似，但从未考虑折射误差[17-19]。另外，2003年的液晶显示屏非常厚，误差太大，结构光的精度通常在微米级，无法直接实现。为了减少误差，研究人员使用数字微镜器件(DMD)作为SLMs[18-22]，该器件具有光效高、图像误差小等优点。例如，研究[21]的动态范围达到了96.26dB。相比之下，我们的方法的动态范围仅为74.63 3d b。但是，基于DMD的方法由于DMD的物理尺寸太小，通常需要更复杂的光路设计，例如DLP 6500投影仪的尺寸仅为35.0 mm × 32.2 mm，复杂的光学变焦透镜对于合成基于DMD的相机是必不可少的。相比之下，基于lcd的方法的光路设计更直接，这意味着更低的价格和更有效的校准。近年来，透明屏技术的发展使液晶屏变得更薄、更透明(透明度衡量的是物体光线穿过玻璃时图像的模糊程度，与材料的均匀性有关)。 因此，虽然基于lcd的方法仍不可避免地存在误差，但我们认为其精度已经可以接受。其中，我们的方法是HDR纸[23]在结构光领域的应用和改进。 本文的其余部分组织如下:第二节，详细介绍了我们的方法的原理。第三节验证了该方法在高反射率物体测量中的有效性。第四部分，结论与讨论。

在本节中，我们介绍了光学掩模的原理，我们的方法的动态范围，屏幕与摄像机之间的像素对应关系，自适应光学掩模，以及相位误差的校正。

图1(a)所示为本方法的系统结构，包括投影仪、摄像机和用于调节摄像机像素强度的透明屏幕。在透明技术中，光透过率α会随着像素强度的变化而变化。因此，每个相机像素的强度可以通过调制其对应的屏幕像素的强度来调整。例如，如果摄像机点D过度饱和，我们会降低屏幕点c的强度，这个特性扩展了我们方法的动态范围，并且不会影响相位值的结果，这将在下一节中证明。

本文采用n步相移算法对物体进行测量，摄像机捕捉到的条纹图像可写成: 其中n∈[0,n−1]为相移条纹的指标，(x, y)为相机像素点p的像素坐标，Ia(x, y)为背景强度，Ib(x, y)为调制强度，φ(x, y)∈(- π， π)为包裹相位值，用于主动“标记”被测区域，计算方法如下: 与传统的结构光技术相比，我们的技术在相机前放置了一个透明的屏幕。若透明屏的透过率为α，则摄像机捕捉到的条纹图像可写成: 我们方法的包裹相位φ’ (x, y)可计算如下，与传统结构光技术相同: 一旦得到包裹相位φ ’ (x, y)，将包裹相位φ ’ (x, y)展开为绝对相位Φ ’ (x, y)，即重构方法与其他结构光技术相同。最常见的一种方法是使用三角形摄像机模型，用摄像机的固有参数Ac[24]来计算高度信息。但由于透明屏的引入使得其成像过程不能简化为简单的针孔相机模型，本文采用多项式相高模型对表面进行重建[25]。综上所述，绝对相位与高度信息之间的像素级映射如下: 其中h(x, y)为高精度机械移动平台得到的点p(x, y)的高度(标定过程中高度标注正确)，n = 5为我们方法的最大多项式阶数(一般高阶系数可以校正系统的大部分误差，如透镜畸变、非线性等)，i为多项式阶数，ai(x, y)为实验中需要标定的系数，ΔΦ(x，Y)为标定平面与参考平面之间的相位差。在得到相高多项式关系后，在后续的测量中，可以通过测量相分布Φ(x, y)来计算高度分布h(x, y)。

在我们的方法中，核心成像器件仍然是光电固态图像传感器，其动态范围通常定义为: 其中Imax和Imin分别表示图像传感器所能检测到的最大和最小亮度。通常使用8位传统相机拍摄数字图像，最低亮度Imin一般设置为1，因此传统数码相机的动态为20•lg256 = 48.13dB。 由于采用透明屏作为光调制器，扩大了方法的动态范围，有利于对高反射率表面的测量，可表示为: 为了计算成像系统的动态范围，必须对透明屏的最大透过率αmax和最小透过率αmin进行校准。一般情况下，我们系统中相机的光通量描述如下: 其中，Icn为相机像素的强度，α为屏幕像素的透过率，t为曝光时间，β为增益因子，f(•)为相机响应函数(CRF)。由于我们的系统经过[26]研究的gamma校正，因此CRF函数为线性映射，式(8)可简化为: 透光率α的具体标定过程如下: **Step 1:**在摄像机前放置白板，然后将亮度为255位的图像投影到白板上。 Step 2::调整相机的曝光时间到一个合适的值:t1，然后拍照，计算平面的平均像素强度:(Icn) 1。 Step 3: 安装一个透明的屏幕作为光学掩模，然后调整一个合适的相机曝光时间:t2，依次将屏幕像素的强度从0位调整到255位，最后进行拍照并计算平面的平均像素强度:(Icn) 2。 **Step 4:**由于实验中物体的光强Irn和增益因子β是相同的，无论实验中是否安装透明丝网，由于从未安装过丝网，所以透光率α1 = 1，因此透光率α2可计算如下: 图2为不同像素强度下屏幕像素的透射率α示意图:当屏幕像素强度设置为210位时，最大透射率αmax = 3.42461%;屏幕像素强度设置为50位时，最小透光率αmin = 0.223591%。事实上，虽然我们的方法可以实现更广泛的动态范围，但实验表明，当掩模值设置过大或过小时，相位质量会下降。根据动态范围的定义，我们系统的动态范围计算如下: 构建一个高动态相机是非常昂贵的，这意味着CMOS有更高的灵敏度，例如，如果CMOS的灵敏度增加16倍，那么相机的输出灰度为256 × 16 = 4096位，根据定义，它的动态范围仅增加到72.25dB。相比之下，我们的方法通过引入屏幕将动态范围从48.13dB提高到71.83dB，大大高于传统8位相机(48.13dB)的动态范围，可以相当于非常昂贵的12位相机(72.25 dB)。

该方法还需要对相机像素和屏幕像素之间的对应关系进行校准。该方法的优点是无论测量场景如何变化，像素对应关系都不会发生变化。如图3所示，光学中心c与像素点pi与屏幕的交点只有一个唯一的交点mi。特别地，采用n步相移方法对像素对应关系进行标定，具体如下: Step1: 首先在屏幕后面放置一个背光灯，这样透明屏幕就变成了正常的液晶屏幕。也就是说，液晶屏幕不是后面的物体是目前被相机捕捉。 Step2: 屏幕上分别显示x方向和y方向的n步相移图，如图3左上角所示。 Step3: 用相机捕捉屏幕上显示的图像，然后分别在x和y方向上计算出绝对相位图Φx(x, y)， Φy(x, y)。结果如图3右上方所示。 Step4: 计算相应的屏幕像素坐标(u, v): 其中Wp和Hp分别为透明屏幕上显示的条纹图案在单个条纹周期内沿×方向或y方向所占用的像素数。 需要注意的是，由于相机像素与屏幕像素之间的物理尺寸差异，在实际实验中，相机像素与屏幕像素之间的像素对应关系并不是一一对应的。通常，在我们的方法中，几个相机像素对应一个屏幕像素。我们认为这个误差可以忽略，因为它只影响高反射区域的边缘。\

我们使用投影仪投影255位的图像，然后迭代更新屏幕掩码，其原理类似于自适应二分法，如下所示: **Step1:**通过上述方法，首先标定相机像素与屏幕像素的对应关系，从而正确调整相机像素过曝后对应的屏幕像素。 Step2: 投影仪先投射出255位的图像，然后将255位的图像由屏幕显示出来，最后再用相机拍摄一张具有设定优先级的照片在曝光的低反射率区域。 Step3: 分割过曝光区域Ω0H(像素强度:g≧220位)，初始化掩码M0:高反射率区域Ω0H的掩码值设置为128位，其他区域Ω0L的掩码值设置为255位。 Step4: 使用屏幕显示掩码Mi−1，然后再次拍照，分割新的过度曝光区域ΩiH。 Step5: 计算新的屏幕掩码Mi如下: p⊆ΩiH相机曝光过度区域的像素点,Mip面具是新的价值,Mi−1p是面具现值,Mi−1p / 2的步骤迭代算法中,Ip是p点的像素强度、Ip / 255自适应比例因子,Iu = 210像素强度的上限,Il = 50像素强度的下限(更新步骤可能会太大,所以调整像素亮度低于50位,例如,红色框区域在图4中,这是过度调整。) Step6: 重复执行步骤4、5，直到迭代次数超过5次，或者没有相机像素过曝。 图4显示了我们的方法测量铝金属物体表面的迭代过程，经过三次迭代后，投影的条纹图案没有过度曝光。该方法无需精确校准透射率与像素强度之间的关系，经过三次迭代后趋于稳定。假设有一个无限亮物体点p，初始掩模值M1p = 128，根据式(13)M2p = 64, M3p = 32，实际上已经达到了系统的性能极限，如图2所示。当然，更多的迭代可以用于具有更高反射率的对象。此外，我们还考虑使用复杂的计算来实现精确的亮度控制，但二分法认为只需要多迭代几次就能达到良好的HDR效果。

我们方法的误差主要是由屏幕的折射引起的。如图5所示，相机像素点c发出一束光线(由于光路可以描述为可逆的，所以我们描述光路来自其相反方向)，当没有安装屏幕时，其校正的物体点为p '，当安装屏幕时，光线首先穿过屏幕，再被折射到最终物点p。根据入射光与折射光平行的光折射原理，显然: 将Eq.(14)中的公式归并，得到误差表达式: 在h '−h =Δlsinθ,因此: 由于高反射率物体的表面一般是光滑的，否则是漫反射，因此θ接近于0，因此: 此外，折射率η = sinα/sinβ，即β = arcsin(sinα/η)，因此最终屏折射率引入的误差公式为: 但是在实际测量中，每个相机像素的入射角α和折射率η很难测量，它们会有一点差异。由于相机和屏幕的相对位置是固定的，因此每个相机像素的误差也是固定的。为此，我们提出了一种端到端的相位误差补偿技术。特别地，在不考虑θ的情况下，如图5所示，理想测量点为p，而实际测量点为p '。因此，减去p和p '之间的相位差ΔΦ，我们可以得到p点的正确相位。执行步骤如下: Step1: 在相机前放置白板，投影边缘图案以获得相位图:Φ '; Step2: 将屏幕安装到系统中，然后投影条纹图案得到相位图:Φ; Step3: 用相位差补偿后续测量的相位:ΔΦ = Φ '−Φ;

在屏幕推出后，为了提高测量精度，我们确实做了很多尝试，让它看起来更好看。系统最大的误差来自于屏幕带来的折射误差，我们采用了以下方法来补偿折射误差: (1)降低屏幕厚度d:广州瑞财的透明液晶“NVS215”的厚度只有1毫米，而普通液晶屏幕的厚度为3毫米。由式(18)可知，厚度越小，误差越小。 (2)选择透明度更高的屏幕(Material均匀性和折射率η):由于使用了透明屏幕技术，NVS215的透明度比普通LCD屏幕高90%。透明度是用来衡量物体通过光后的模糊程度，与透光率没有实质性关系。例如，磨砂玻璃可能有90%的透光率，但只有50%的透明度。(在此之前，我们也取下了普通液晶屏的背光进行实验，其精度并不理想)。 **(3)减小入射角α:**确保摄像机与屏幕垂直安装，测量对象放置在摄像机视场的中间位置:这样有助于减小光的入射角α。根据模拟实验，入射角α越小，折射误差越小。 **(4)多项式相高模型:**使用多项式相高模型代替普通的反相机方法(将投影仪视为反相机)，通过增加多项式系数(通常是3阶就足够了，在这种情况下是5阶)，可以有效地补偿误差。 **(5)相位误差补偿:**本文提出的直接相位误差补偿方法可以有效提高系统精度。

我们搭建了一个硬件样机来验证所提出的方法，所有实验都在白天的室内环境中进行，以模拟实际的工业生产环境。该系统包括三部分，如图6所示:工业CCD相机“CM3-U3-13Y3M”(PointGray)，分辨率为1280 × 1024; DLP3010投影仪“TJ23UM”(杭州腾聚)，像素分辨率为1280 × 720;透明屏幕“NVS215”(广州瑞财，相比传统屏幕厚度一般为3毫米，透明屏幕“NVS215”厚度仅为1毫米)，像素分辨率为1366 × 768。相机和投影仪通过触发线连接:相机会在投影仪后同步触发投影图案。整个系统被一个黑盒子覆盖，以避免虚拟图像被摄像机捕捉到。另外，要保证相机光轴和屏幕尽量垂直安装，物体尽量放置在相机视场的中间。这有利于降低光入射角α。如前所述，减小入射角有利于减小相位误差。

在定性实验中，我们首先在实际的高反射率伪影上测试了我们的方法的重建性能。如图7所示，它是由铝金属加工而成的自由表面。表面非常光滑，不能用传统的相移方法测量:如果曝光设置太低，边缘会很暗，如果曝光设置太高，中间区域又会过度曝光。经过n = 5次迭代，所有像素都得到了最优曝光，重构结果也表明我们的方法没有过孔区域。实验表明，该方法可以很好地测量铝合金加工后的自由曲面。

实际工件也不是完全镜面，有些区域是混合反射。因此，我们构建了一个由低反射率塑料瓶盖和高反射率不锈钢t型管组成的混合反射率场景，如图8所示。从测量结果来看，我们的方法可以成功测量高反射率的t型管，同时测量低反射率的物体。需要注意的是，对于高反射率的场景，如不锈钢，我们的方法仍然存在过曝现象，因为表面反射率太高，我们的方法的动态范围仍然不足。

由于使用透明屏幕作为光空间调制器，我们的方法不可避免地会有性能下降。本章主要说明由于多项式模型和相位补偿，这种性能损失不是很严重。在实验中，通过移除透明屏来构建一个传统的结构光系统。如图9所示，两种系统的成像分辨率不同。由于引入了透明屏，我们的方法成像有明显的像差，这不利于重建质量。根据Eq.(18)分析，该误差应呈完全线性分布，如图10(a)所示。由于制造工艺的原因，每个像素的折射率都会不同。实际误差如图10(d)所示，我们在随后的测量中为相图补偿相位差，尽管这种补偿在每次测量中都不完全准确。 为了测试低反射率表面的性能，我们测量了一个直径为24.9992毫米的标准哑光球。直观的实验结果如图11所示:原筛系统的最大误差为62.8 μm，补偿后系统的最大误差为46.2 μm。实验证明了相位校正算法的有效性。但在测量低反射率表面时，它的精度仍不如传统的相移法。4步相移法的最大误差为34.9 μm, 12步相移法的最大误差为31.2 μm。相比之下，本文方法的误差分别增加了32.38%和28.08%。 通过将标准球放置在测量系统的不同位置，我们反复进行定量测量。MAE为平均绝对误差，RMSE为均方根误差，它们的计算方法如下: 其中ds(i)为球体的实测直径，STD为标准直径24.9992 mm。 表1显示了同样的结果:四步相移法(无掩码)的MAE、RMSE分别为28.97 μm和33.49 μm，四步相移法(掩码)的MAE、RMSE分别为36.63 μm和38.46 μm，性能分别降低了26.44%和14.84%，如图12所示。 虽然我们的方法在测量低反射率区域时性能下降，但我们的方法在测量高反射率区域时具有优势。混合反射率场景由高反射率表面和低反射率表面组成，且两者高度相同。高反射率表面是指对铝合金工件(Ra < 12.5 μm)进行精细抛光后形成的平面。低反射率表面是经过精细抛光后喷涂显像剂的表面，并用黑色胶带将它们区分开来。可以看出，虽然喷了显像剂后的条纹在肉眼下成像质量较高，但由于没有均匀喷上显像剂，表面重建质量并不高。相比之下，我们的方法可以测量高反射率区域，大多数区域都在15 μm以下，更符合实际的表面条件。 综上所述，我们认为，对于低反射率表面的测量，它们的精度仍然在同一个数量级上。我们的系统在相位补偿后只有轻微的性能下降。相比之下，对于混合反射率曲面的测量，我们的方法具有明显的优势。

该方法能较好地测量高反射率工件，测量精度略有下降，但动态范围由48.13 dB提高到71.83 dB。与其他高反射率测量技术相比，该方法在原理上有所不同，即通过调整相机对每个像素的局部曝光设置，增加相机对单次测量的动态范围，从而减少高反射率测量所需的投影图像数量。 与基于dmd的技术相比，其光路更简单，设备成本更低，是一种很有前途的高反射率测量技术。 可以从以下几个方面进行改进。首先，它仍然无法测量反射率过高的场景。未来可与其他高反射率的方法结合，如多次曝光、调整投影强度的方法，进一步提高测量的动态范围。其次，在增加透明屏后其精度下降，考虑通过建立更精确的模型来精确补偿相位误差。最后，近年来，深度学习得到了显著的发展，在动态范围和成像速度方面都具有出色的优势。考虑引入深度学习来进一步提高这种方法的性能。