Sea | 您所在的位置:网站首页 › 水下图像去雾模型Ic=Jc › Sea |
Sea-thru: A Method For Removing Water From Underwater Images论文研读
目录 Sea-thru: A Method For Removing Water From Underwater Images论文研读 摘要 1.介绍 2.相关工作 3.科学背景 4.Sea-thru方法 4.1.成像和距离地图的生成 4.2.场景重建 4.3.向后散射估计 4.4.衰减系数估计 4.4.1 作为z的函数 4.4.2.从一副图像中粗略估计(Z) 4.4.3.精确估计(Z) 4.5.加工 5.数据集 6、结果 7、结论 数据集链接http://csms.haifa.ac.il/profiles/tTreibitz/datasets/sea_thru/index.html github代码链接https://github.com/jgibson2/sea-thru 摘要针对于水下图像颜色恢复问题,目前来看仍然是一个挑战。我们最近表明,这部分是由于大气图像形成模型普遍适用于水下图像,并提出了物理上准确的模型。修改后的模型如下:1)信号的衰减系数在整个场景中不是均匀的,而是取决于物体的范围和反射率。2)控制反向散射随距离增加的系数不同于信号衰减系数。 在这里,我们介绍了第一种使用RGBD图像通过修改后的模型恢复颜色的方法。Sea-thru方法使用暗度估计反向散射像素及其已知范围信息。 然后,它使用对空间变化的光源的估计以获得范围相关的衰减系数。使用我们提供的来自两个光学上不同的水体的1,100幅图像,我们表明,使用修正模型的方法优于使用大气模型的方法。 持续去除水将为强大的计算机视觉和机器学习算法打开大型水下数据集,为水下勘探和水下环境保护提供了保障。 1.介绍水下图像中的色彩重建是一项艰巨的任务,目前尚没有鲁棒的算法。最近,我们发现,部分归咎于常用的图像形成模型,因为它是针对大气而推导的,而忽略了水下光对波长的强烈依赖性。我们提出了一个修改后的模型,该模型显示:1)正向和反向散射信号受不同系数的控制(旧模型假定它们相同)。2)这些系数中的每一个都依赖于除水的光学特性以外的因素(旧模型忽略了它们)。尽管修改后的模型在物理上更准确,但是它具有额外的参数,因此难以应用。 在这里,我们介绍了Sea-thru方法,该方法概述了如何估计这些参数以实现更好的场景恢复。 像ImageNet这样的大型图像数据集在点燃人工智能热潮中发挥了作用,在过去的二十年中,它推动了科学和工业领域的许多重要发现。在水下图像领域,水下领域并不缺少大型图像数据集,但是,它并没有从计算机视觉和机器学习方法的强大功能中受益,这使得这些发现成为可能,部分原因是水掩盖了场景的许多计算上有价值的特征。水下照片等于在空中拍摄的照片,但被浓彩色雾覆盖,白点和亮度随距离而变化。很难针对代表全球海洋的不同光学条件来训练基于学习的方法,因为校准后的水下数据集很复杂,并且在逻辑上很难获得。现有方法解决由水引起的偏色问题,要么不稳定,太敏感,要么仅适用于较短的目标范围。因此,大型水下数据集的分析通常需要昂贵的人工。 平均而言,人类专家会花费2个小时以上的时间来识别和计数一条长达1小时的视频中的鱼类。 Sea-thru方法旨在始终如一地从水下图像中去除水分,因此可以提高效率来分析大型数据集。 它的工作原理如下:给定RGBD图像,它以为雾霾开发的暗通道先验(DCP)启发的方式估算背向散射图像,但要利用已知的距离图,接下来,它使用优化框架通过使用局部空间平均颜色获得的照明图来估计与范围相关的衰减系数。我们表明,可以将距离相关的衰减系数建模为2项指数模型,从而大大减少了优化步骤中的未知数。我们表明,可以将距离相关的衰减系数建模为2项指数模型,从而大大减少了优化步骤中的未知数。我们贡献了1,100多幅图像从两种光学上不同的水中获取(可在http://csms.haifa.ac.il/profiles/tTreibitz/datasets/sea_thru/index.html)。在这些图像和由贡献的另一个水下RGBD数据集上,我们从质量和数量上证明了第一个使用修订后的图像形成模型的Sea-thru优于使用旧模型的其他模型。 2.相关工作Nayar和Narasimhan开发了恶劣天气的图像形成模型。假设散射系数在每个颜色通道的相机感光度范围内是恒定的,从而导致每个波长的系数。此模型随后被广泛用于恶劣天气,后来又适应水下环境。对于场景恢复,这些方法需要一个以上的场景帧,或额外的信息,例如3D结构。该模型进一步简化为仅包括一个衰减系数,在所有颜色通道上均一。 这样做是为了从雾中的单个图像中恢复,后来也用于水下恢复。在水下场景中,对所有颜色通道使用相同的系数是一个非常粗略的近似值,而对每个通道使用系数可以产生不错的效果。不过,正如我们进一步表明的那样,它们的准确性本质上是受模型限制。 之前使用DCP从单幅图像估计后向散射,以及它的一些变体,或者其他先验方法。衰减系数可以用海洋光学仪器如透射仪或分光计来测量。然而,由于光谱灵敏度和接受角度的不同,它们不能被用于成像。此外,这些工具部署起来既昂贵又笨重。因此,最好是直接从图像中估计衰减系数。最基本的方法是对已知距离的标定目标进行拍照。在其中一篇论文中,系数是从估计的遮蔽光中提取的,忽略了光照颜色。在另外一篇中,采用灰色世界假设估计各通道的衰减系数。其他的方法通过使用固定的衰减系数来缓解这个问题,只测量一种水类型。 已知的距离稍微简化了问题,并通过将多幅图像的数据拟合到图像形成模型来估计后向散射和衰减,深层网络最近被用于重建水下场景。然而,他们的训练依赖于纯合成数据,因此高度依赖于仿真模型的质量。到目前为止,所有的方法都假设衰减系数仅仅是水的属性,并且在场景中每个颜色通道都是一致的,但是正如我们所展示的,这是一个错误的假设,导致了重建中的错误。 3.科学背景水下图像的形成取决于: 其中c = R,G,B为颜色通道,Ic是相机捕捉到的图像(带有失真的颜色),Dc是包含(衰减的)场景信息的直接信号,Bc是后向散射,一种附加信号,由于悬浮在水柱中的粒子反射光线而使图像退化。组成部分Dc和Bc由两个不同的系数β决定,分别是传输过程(RGB)衰减和后向散射系数。 图2,水下成像由Ic = Dc + Bc形式的方程控制。Dc包含衰减颜色的场景,Bc是一个退化信号,它强烈依赖于水的光学特性,并最终控制了画面。插图显示的相对大小在海水27米处拍摄的麦克白海图。 式1的展开形式如下: z是相机和场景中物体沿视线的距离(距离), 这里, 不同的光束衰减系数 场景光 其中
根据方程式2-4,恢复 其中
图3、a)使用Photoscan Professional (Agisoft LLC)从68张照片创建的3D模型,b)该模型得到的图1图像的距离图z(单位为米)。我们在海底放置了一个彩色图表来设置比例。 4.2.场景重建从方程式1和2我们可以有:
其中
其中Wc为相机环境光的白点(即深度d处),Js为Jc全局白平衡。 4.3.向后散射估计后向散射随z指数增长,并最终饱和(图2)。场景反射率在哪里Pc→0(所有的光吸收),或者E→0(完全阴影),捕获的RGB强度Ic→Bc。我们搜索图像非常黑暗或阴影像素,并使用他们得到一个初步估计的后向散射。我们的方法与DCP相似,它试图找到反向散射信号的位置Dc是最小的,但它与我们利用已知距离图的基本方式不同,而不是试图估算它。此外,我们搜索最暗的RGB,而不是在每个颜色通道中独立地找到最暗的像素,我们没有形成一个暗通道图像。我们的方法识别的少量未连接的像素就足够了,因为我们有相应的范围信息,以及Bc如何与z行为的物理模型。(请参阅第3节中的成像角度)。 我们对后向散射的估计如下:首先我们将距离映射划分为10个均匀间隔的簇,这些簇跨越z的最小值和最大值。在每个范围簇中,我们在Ic中搜索最底层1%的RGB值,我们通过Ω表示。然后在整个图像上,Bˆc(Ω)≈Ic(Ω)是一个高估的后向散射,我们模型:
表达式中 根据场景的不同,可以将残差剔除Eq. 10。发现暗像素的反射率为完全黑色;如果他们在阴影之下;如果z很大;或者如果水非常浑浊, 图4显示了该方法在校准实验中的性能,我们在蓝色水域的一条浮标线上安装了一张图表(以减少从海底到水面的相互反射),并在我们游向它时拍摄了照片。在远端图像中可以清楚地看到后向散射的遮蔽效应,随着相机和图表之间z的减小而减小(图4a)。对于每一幅图像,我们使用[1]中描述的图表消色差斑块计算地面真实后向散射,并使用这里描述的方法估计它(图4b)。得到的Bc值几乎相同;除了Ic和z之外,不需要其他输入(例如水类型)来获得这个结果。注意,黑块的颜色图表不是Ω捡起的任何图像,表明它确实是一个比真正的黑色或深灰色和更轻阴影像素。
图4。在不同范围内成像的彩色图表。a的上一行为原始图像Ic,下一行为对应的原始图像Ic,Dc或反散射去除图像。b)利用本文描述的方法(x’s)和[1](o’s)中描述的基于色卡的后向散射计算方法计算每个颜色通道的Bc;值几乎是相同的。 4.4.衰减系数估计 4.4.1![]() ![]() 我们之前讲过 图5是[2]的一个实验,我们将一个彩色图表和尼康相机与图之间的后向散射和衰减都可以忽略,因为图与相机之间的距离z很小,得到Ic→Jc。在这个设置中,颜色损失是由于有效的衰减系数作用在垂直距离海面d,并被捕获在每个深度的环境光Wc的白点D90相机安装在一个框架上20厘米的距离,并降低这个配置从表面到拍摄时水深30米。
从每张图像中,我们计算出有效的 ![]() 假设Bc成功从图像Ic中去除,我们现在可以开始估计 局部光源的估计是计算色恒常性领域的一个重要研究课题,几种方法,最著名的是Retinex模型,它模仿了一个人的能力,以折扣不同的照明,已应用于水下图像,最近的一项研究表明,在大气图像去雾和Retinex之间存在直接的线性关系,如果正确地从原始图像中去除后向散射,我们可以期望许多光源估计方法在水下图像上能很好地工作,这里,我们采用了[24]中描述的局部空间平均颜色(LSAC)方法的一种变体,因为它利用了一个已知的距离图。该方法的工作原理如下:对于给定的像素(x,y)在彩色通道c,通过更新方程迭代估计局部空间平均颜色ac(x, y): 其中邻域Ne定义为与像素在(x, y)处相邻的4个连通像素,且这些像素与邻域阈值∈的距离较近: 这里,对于所有像素点,取a(x, y)的初始值为零,因为经过大量迭代后,初始值不显著。参数p描述了计算平均值的局部支持区域,该区域依赖于图像的大小;较大的p表示对较小的邻域计算局部空间平均颜色。然后,找到局部光源图为 ![]() 然后,利用已知的距离图z,改进的估计 和最小化:
我们使用[40]中描述的摄像机管道操作平台将Sea-thru输出转换为标准颜色空间,在步骤6之前将它们插入到管道中,并为白平衡指定一个单位矩阵。 5.数据集我们提供了5个水下RGBD数据集(表1)。所有的照片都是在自然光照条件下获得的,采用raw格式,对给定的一组照片进行恒定的曝光设置,并包含有彩色图表的多幅图片。 6、结果
从海洋的图像形成模型中获得了它的强度,Sea-thru提供了一个没有产生色偏的水下世界场景,它突出 Sea-thru是向强大的计算机视觉和机器学习算法开放大型水下数据集的重要一步,在我们的海洋因污染、过度捕捞和气候变化而面临越来越大的压力之际,它将有助于推动水下研究。 数据集链接http://csms.haifa.ac.il/profiles/tTreibitz/datasets/sea_thru/index.html github代码链接https://github.com/jgibson2/sea-thru |
CopyRight 2018-2019 实验室设备网 版权所有 |