车载相机图像质量标准IEEE P2020最新进展｜厚势汽车

用微信扫码二维码

分享至好友和朋友圈

先说一下 IEEE P2020 的产生背景。

手机开始是用来打电话的，正如汽车是用来驾驶的。时代的变迁，现在手机已经变成了一个广义的电子助手-——装备了多传感器，多 camera，低功耗计算，乃至人工智能平台。现在这种演进正在扩展到汽车这个产品上来——最主要的目标是用来提高驾驶安全性以及驾驶的效率。

4月27日，适应复杂路况的自动驾驶感知与决策系统

WHO 有一个统计，世界范围内，每年有 125 万人死于交通事故，2 千万到 5 千万人因为车祸受伤。对大多数国家，由此导致的经济损失高达 3% 的 GDP。

所以在汽车上引入这种高级的传感系统可以帮助汽车保持更好的车距，甚至可以减小车道宽度，节省出来的空间可以给自行车或者人行道使用。以此可以衍生的新经济模式也是非常令人瞩目的。所以，由于 camera 在汽车传感上的这种至关重要的地位，对于汽车工业来讲，控制 camera 的图像质量是非常重要的。

就像手机成像一样，开始的时候没有一个专门的标准来规范手机相机的图像质量。所以 IEEE P1858 因应而生。但是手机的相机图像质量标准是不太适用于汽车的。而之前在汽车图像传感器领域广泛采用的 EMVA1288 并不适用于汽车整机产品。汽车领域有其独特的应用场景和工作条件，比如鱼眼，多 camera，HDR，高温，低温等。由此因素，IEEE P2020 工作组应运而生。

相机在汽车主要有两种应用：一个是视觉应用，也就是给人看的。比如电子后视镜，环视系统等。还有一种应用是计算机视觉应用。比如自动驾驶，自动泊车等。

对于视觉应用的相机，产生的图像要求可以满足人的视觉需求——比如：看的清楚，看得舒服，这种需求是图像质量定义的核心。有时候看的清与看着舒服并不是统一的，所以在定义图像质量要求的时候，这块就很困难。举个例子，要拍清楚阴影地方的物体，这时候就可能产生很大噪声，视觉感知不舒服。在两者之间的平衡就是个很难定义清楚的事情。

对于计算机视觉的应用，看着舒服就不是机器关心的事情了。从 lens，image sensor，ISP，到整体的系统级图像质量，它的重点主要是实用性。但是对于机器视觉到底什么是适用呢？这也是个不好定义的事情，因为机器视觉这个统称下面，有很多不同的实现，有些是跟生物视觉相近，有些则不是。

所以，既然人类视觉和机器视觉应用的相机都被集成到了汽车里，那定义哪些有意义的指标来量化相机的性能就成为 P2020 的主要任务。同时，P2020 吸取了P1858（CPIQ）的经验——由于技术发展非常快，CPIQ 花了太多年才最终发布。

P2020 决定一边开会研究，一边发布阶段性的成果。所以以后大家可以陆续看到 P2020 的发布的 whitepaper。至于最后全本发布的日期现在也还不确定。今年 9 月是 P2020 第一次发布 white paper。

发布白皮书的目的有三：

告诉大家，到目前，汽车 camera 的图像质量还没有被定义好，很多关键的指标都没有，比如 HDR 下的 sharpness 之类的指标，还有红外光波段的相关指标，（因为传统的基于人类视觉的图像质量都是在可见光波段定义的。）等等。

2.让大家关注IEEE P2020工作组，知道这些人正在研究给汽车camera定标准。

3.有兴趣的人和组织可以加入P2020，不要另立山头。可能是说给日本汽车工业听 的。

P2020 包括了 7 个工作组：

Subgroup 0—Image quality requirements/specifications standards

Subgroup 1—LED flicker standards

Subgroup 2—Image quality for viewing

Subgroup 3—Image quality for computer vision

Subgroup 4—Camera subsystem interface

Subgroup 5—Image quality safety

Subgroup 6—Customer perception of image quality

工作组 1，2，3 目前的在解决一下 3 个问题：

Subgroup 1 在研究 LED flicker standards。

由于 LED 的频闪，相机得到的图像可能存在信号灯颜色错误。

人眼看到的是红灯，但相机拍出来是没亮灯。

在公众号 2018 年 9 月 1 号那期已经详细讲述了 LED flickering 的问题，在这里就不再重述了。

Subgroup1 的工作就是：

阐明 flicker 的产生原因和细节。

列举 flicker 出现的情况和潜在影响。

定义 flicker 现象的测试方法和关键测试指标。

定义 flicker 对人类视觉的影响的客观测试指标.

定义 flicker 对机器视觉的影响的客观测试指标.

Subgroup2在研究 image quality for viewing --观看图像质量。比如电子后视镜，环视系统这种供驾驶员观看的相机。这边的难点在于，一方面观测条件太多样，一方面计算机视觉也可能用这些相机的图像，还有就是现存的标准不适用于车载相机。例如 SNR。

图中显示了一个典型的多曝光HDR的SNR vs Illumination的曲线。

比如在汽车进入一个大白天的隧道，多曝光 HDR camera 得到的图像就会有这样的 SNR 曲线，在中间多曝光过渡的区域，就会有 SNR 的下降。这意味着即使亮的地方，却有比暗的地方更高的噪声。现有的 HDR 测试标准没有考虑这种 SNR drop 的情况，所以不能得出正确的测量结果。所以当有的 camera 进行 HDR SNR drop 的优化以后（如图中虚线所示），SNR drop 明显变小，但是按照传统 DR 测试，DR 却从 144dB 下降到了 120dB。因为传统的测试方法只关注了提高整体的 SNR level。如果相机验收方还是用传统的方法去检测，并以此拒绝产品，那生产方真得欲哭无泪了。

再比如 uniformity。由于车载相机大量使用广角镜头，所以 lens shading 都比较严重。如果再用于做环视，那么拼接生成的图像，在拼接处都可能会产生很严重 visiual noise。

图左边是前后左右四个相机的 flat field 图像，右边是矫正了 shading 之后做了环视拼接的图像。对于有的相机，在接缝处就可以看到明显的噪声。在现在的图像质量测试标准里，就没有针对这个 case 的标准。

还有一个更严重的例子——OECF。在现在的 IQ 标准里，在计算图像之前的一个很重要的操作就是做线性化。根据 OECF 来把图像矫正为线性。但是典型车载相机都是 HDR+tone maping——一个难以逆运算的非线性系统。所以这就造成一个很严重的后果，用传统的 IQ 标准测出来的很多指标，诸如 sharpness，noise，texture 都不准确。

还由于 HDR，lens 的光学的设计也有很多挑战。比如鬼影的问题。对向来车的车灯，很容易在 camera 上形成鬼影，由于camera用了HDR+Local Tone mapping，车灯的鬼影往往会变得更恶化——可能拍出来好几对车灯，这就可能产生很严重的后果。

由于如上所说的诸多难点，所以 subgroup2 现在先捡点简单的问题搞，然后再搞难的。所以现在的几个主题是：

Dynamic range

Sensitivity

Depth of field

Focus stability

Dark current

再说说 subgroup3，研究 image quality for computer vision。

现在 computer vision 的 IQ 主要是依据 EMVA1288，但是 EMVA 是侧重元件级的测试，不是系统级的测试，所以 P2020 subgroup3 主要关注系统级的测试，尤其是哪些指标会导致 computer vision system 的失效。比如下图：

左侧图显示，由于 veiling glare 导致汽车根本不可见了。这种情况，很明显计算机视觉系统会判断为没有车，后果可想而知，很可能下一刻汽车就追尾了。

Subgroup3 认为现有的标准关注在 component 的指标，不能够适应计算机视觉的应用需要。所以 subgroup 采用 CDP（contrast detection probability）及其衍生的 CSP（color separation probability）的方法应用到 P2020 标准里。因为这种系统级的评价方法可以帮助横向的跨越各个成像诸元，实现系统级的评价。

白皮书列举了现存图像质量标准与车用相机实际需求之间的 Gap。如下表：

来源：知乎专栏《all in camera》

编辑：琪琪

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.