用微信扫码二维码

分享至好友和朋友圈

我 们提出Illumination-Adaptive-Transformer (IAT)网络，用来探索实时的暗光增强和曝光矫正，以及一系列不良光照场景下的视觉任务（如暗光场景目标检测/ 语义分割）。IAT网络是全监督训练范式，网络总体的参数量仅需90k+，属于超轻量级的实时增强网络（相比近期CVPR 2022的Transformer工作Restormer[1]和MAXIM[2]等），在这篇论文中，我们借鉴了目标检测中的DETR[3] 结构，来帮助我们实现轻量设计。值得一提的是，IAT网络的训练/测试代码都已经公布，非常容易follow，并且暗光场景下语义分割和目标检测的代码也全部公布，可以说是良心满满。

图1. 有了IAT，愿少年你的科研道路不再黑暗

自然场景下存在着各种不良光照场景，如低光照环境和摄影造成的过(欠)曝光环境，相机在不良光照下完成摄影任务时，因为接收到过多/过少的光子数量，和相机内部的处理过程 (如低光照场景需要调高ISO，这会导致噪声也同时放大)。往往得到的图像也会收到影响，无论从视觉感观还是完成一些视觉任务（如检测，分割等）都会受到影响。区别于传统的HE或者RetiNex做法以及此前的CNN做法，我们提出了Illimination-Adaptive-Transformer (IAT), IAT模型借鉴了目标检测网络DETR思路，通过动态query学习的机制来调整计算摄影中的一些相关参数，建立了一个end-to-end的Transformer，来克服这些不良光照所造成的视觉感观/视觉任务影响。

二、 网络结构

在不良光照场景 的环境中，场景 中的光子数量投到相机camera lens上，再通过相机内部的处理和相机内Image signal Processor (ISP) 流程 ，最终得到我们所获得的sRGB图像 。图像增强以及曝光纠正的目的是把非正常光照下摄影得到的图像 ，去学习一个正常光照条件 下摄影得到的图像 ，此前的方法往往通过一个end-to-end的网络，或者通过学习一些高层次的 表征（如：图像曲线，光照，3D-LUT等)，来完成 到 的学习。这里我们借鉴了此前CVPR 2020上 Afif 和 Brown的工作 [4]，通过一个逆映射函数 ，将sRGB图像 映射到其对应的rawRGB空间 上，这样做的好处是还原到raw-RGB空间上面后，我们可以通过调整ISP过程 中的一些关键参数（如gamma数值, 白平衡和一些相关色彩矩阵) 来动态调整图像亮度，让最终的预测图像 尽量接近正常光照环境下的摄影图像 ，公式如下:

为了实现轻量化设计，在这里ISP环节中 过程，我们简化为一个 的色彩矩阵 和一个 gamma参数 ，详细的推导论证请见我们论文的supp环节，在逆映射过程 中，我们学习了一 张乘法图 和加法图 ，以一个最小二乘法来完成拟合，总体公式如下:

综上所述，IAT网络总体包含两个独立分支，逆映射调整的local分支 和学习ISP参数的global分支 ， local分支由两个独立支路负责预测像素级别乘法图 和加法图 ，global分支则是利用attention预测控制图像全局信息的色彩矩阵和gamma数值。输入图像将分别通过local分支和global分支来一起完成暗光增强和曝光纠正任务。网络具体结构如下图，其中每个local分支都由三个PEM (Pixel-wise Enhancement Module) 模块组成，为了保证轻量设计和输入任意分辨率，这里采用了depth-wise convolution组成的Transformer结构。

同时在global分支我们采用attention模块来获得全局信息来产生色彩矩阵以及gamma数值，受到了目标检测DETR网络的启发，我们将随机初始化的query输入到模块中，与图像自身生成的key和value共同作用，最终输出十个参数，分别代表 的色彩矩阵和1维的gamma数值，通过这样的动态query学习策略，随着epoch的更新，网络可以自适应的调整操控图像全局信息的色彩矩阵以及gamma值，同时可以更好的利用transformer擅长捕捉全局信息的特性。我们设计的色彩矩阵与gamma数值都是针对每张图像进行调整，相当于给每张图像都假定一个专属的特定gamma数值与色彩矩阵来完成增强任务，曝光矫正任务以及后续的高层次视觉任务。

图2. IAT网络结构

图3. (a). Local分支中的PEM模块与, (b). local分支的的attention模块

三、 实验结果 (低光照增强/曝光纠正)：

在实验部分，我们做了大量的实验，包括低光照增强/ 曝光纠正，以及低光照场景下的目标检测，低光照场景下的语义分割，以及复杂光照场景下的目标检测。

（a）.低光照增强实验结果（LOL-V1数据集低光照增强, 485 image training, 15 image testing和LOL-V2-real数据集低光照增强, 589 image training, 100 image testing）.

图4. LOL数据集测试结果

网络训练时采用L1损失函数，可以看出IAT在暗光增强上面的性能达到SOTA，并且参数量,FLOPS和速度相比之前算法都非常少，时效性很好，一些视觉效果如下：

图5. LOL-V1数据集结果

（b）.曝光纠正实验结果 [同时欠曝光/ 过曝光]（Exposure数据集曝光纠正）：

图6. 曝光增强数据集结果

四、 实验结果 (低光照检测/分割)：

在低光照检测/分割任务上，我们首先探究了将图像增强直接作用到暗光图像上，然后将增强后的图像输入到检测/分割网络结构中，我们分别采用了低光照检测数据集EXDark和低光照分割数据集ACDC以及多光源场景检测数据集TYOL，我们以YOLO-V3检测器为范例，在目标检测时采用COCO预训练模型上面训练不同增强算法增强后的EXDark和TYOL，在语义分割时采用City-scape预训练模型训练不同增强算法增强后的ACDC，结果如下：

图7. 在暗光场景(d),(e)和多光源场景(f)数据集下的定量结果

可以看出低光照增强方法对于目标检测任务有些许提升，但是在后续的语义分割任务(e)上，增强算法反而无法提升目标的分割性能，这是由于图像增强算法与高层视觉算法的目的与评价指标不一致所导致的，图像增强是为了更好提升人眼视觉（评价指标PSNR,SSIM），而目标检测和语义分割属于机器视觉(评价指标mIOU, mAP)。

针对于这种情况，我们采用了joint-training范式来训练网络，即将图像增强网络和后续检测分割网络联合，一起更新参数，其中图像增强网络还可以加载不同的预训练模型(如LOL数据集预训练和MIT-5K数据集预训练)，图示如下：

图8. 将图像增强网络和后续的检测分割网络Joint-Training.

通过实验结果发现，Joint-training范式可以有效提升低光照场景下的检测/分割结果，引入了Joint-training和直接增强的方法对比如下，可以看到Joint-training更能有效提升性能：

图9. Joint-Traing与直接增强的对比

关于更多实验细节和对比实验欢迎大家阅读我们的论文和代码，感谢～

五、 总结

本文提出了超轻量级的Transformer网络IAT，借鉴了DETR模型，通过attetntion query的学习来调整图像关键参数，也使得Trasnformer在实际硬件部署中应用看到了可能。但是在更为复杂的光照条件（比如阴影，不同光源光照，Out-of-domain数据）中，IAT的效果任然存在着不少缺陷，因此如何更好的泛化Transformer-based的Low-Level任务网络，是下一步需要解决的问题，也是一个更开放的问题。

参考文献：

[1]. Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, and Ming-Hsuan Yang. Restormer: Efficient transformer for high-resolution image restoration. arXiv preprint arXiv:2111.09881, 2021. [2]. Zhengzhong Tu, Hossein Talebi, Han Zhang, Feng Yang, Peyman Milanfar, Alan Bovik, and Yinxiao Li. Maxim: Multi-axis mlp for image processing. CVPR, 2022. [3]. Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In European conference on computer vision, 2020. [4]. Mahmoud Afifi and Michael S. Brown. Deep white-balance editing. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020.

Illustration by Pablo Stanley from IconScout

-The End-

扫码观看！

本周上新！

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

[email protected]

点击右上角，把文章分享到朋友圈

⤵一键送你进入TechBeat快乐星球

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.