一文读懂视觉处理器芯片的ISP和CV

        视觉处理技术一直是大家关注的热点领域。在最近的 Linley Processor Conference 上一致的认为，随着视觉传感器收集的数据越来越多，以及模型的复杂，对硬件提出了更高的要求，处理必须实时完成，同时消耗的电量必须更低。本文只是就视觉处理芯片的 ISP（Image Signal Processing）和 CV（Compute Vision）两部分进行介绍。

      ISP 的主要功能包括 AE（自动曝光）、AF（自动对焦）、AWB（自动白平衡）、去除图像噪声、LSC(Lens Shading Correction)、BPC(Bad PixelCorrection)，最后把 Raw Data 保存起来，传给 videocodec 或 CV 等。通过 ISP 可以得到更好的图像效果，因此在智能手机特别是在高端手机上对 ISP 的要求很高，比如开始集成双通道甚至三通道的 ISP。一般来说 ISP 是集成在 AP 里面（对很多 AP 芯片厂商来说，这是差异化竞争的关键部分），但是随着需求的变化也出现了独立的 ISP，主要原因是可以更灵活的配置，同时弥补及配合 AP 芯片内 ISP 功能的不足。如采用 Socionext，Altek，X-Chip、RK 等公司的，如下图结构。

     Rockchip 的 RK1608 Pre-ISP 芯片，集成了 2 颗 600MHZ 主频的 CEVA-XM4，采用 256MB 内存，支持 3 路输入 2 路输出，或 4 路输入 1 路输出。配合第三方的算法，可以实现拍照和录像时的暗光增强，HDR（高动态范围图像），电子防抖，多帧降噪等预处理等。据 RK 的 CMO 在演讲中提到其在 HDR 上的性能媲美 Google 的 pixelVisual Core。其实 RK 早先推出过图像处理 SoC 芯片 RK1108，同样内嵌 CEVAXM4@600MHZ，同时带 video codec，多功能语音处理能力，可见 RK 在视觉领域其实也算布局已久。

      而 CV 是指对得到的图像进行目标识别、跟踪、测量等视觉行动。上文提到的 Pixel Visual Core 芯片是谷歌收购的一家公司的产品，被应用在谷歌 Pixel2 和 Pixel2 XL 手机上，作为协处理器配合高通骁龙 835 芯片。该芯片的核心是 8 核 IPU（ImageProcessing Unit 图像处理单元），每个 IPU 都有 512 算术逻辑单元（ALU）。除了通过用 Halide 来进行图像处理，用 TensorFlow 处理机器学习，Google 还做了一个编译器，来优化硬件代码，Google 使得 IPU 的功能一场的强大。可见该芯片的主要功能其实是 CV。同样海思 Kirin 970 和 AppleA11 主芯片内也嵌有 CV 模块。

      在 ISP 和 CV 上不得不提的是众多的芯片 IP 厂商，IP 厂商的出现降低了芯片厂商的开发门槛，但同时也有可能带来同质化的后果。目前在视觉处理芯片上最成功的 IP 厂商要数 CEVA 了，如在上图中看到的 CEVA 的 DSP XM 系列 在 Pre ISP，ISP 及 Post ISP 上的应用，同时也推出了用于 CV 的 DNN 加速软硬件环境。自从高通的 Hexagon DSP 在深度学习上的应用，普遍的看法是 DSP 加深度学习的 HW Accelerator，在嵌入式视觉上应用会更高效。CEVA-XM 与 CNN 硬件加速器（最高可 512 个 MAC 单元）搭配使用，可实现 Vision DSP 和 HW CNN 的高效运行，目前已经有大量的公司采用 CEVA 的 IP 开发 ISP 及 CV 的芯片。

     Synopsys 开发的 EV6x Embedded Vision Processor 采用的方式类似，它可以将 1 到 4 个 CPU 核与 CNN Engine 结合。CNN Engine 的 MACs 数量可以从 880 增加到 1760 再到 3520 个，用台积电 16 纳米制造芯片，频率 1.28GHz，芯片的总 MACs 最高可以达到 4.5 万亿（相当于 9 teraflops 的性能）。

     Cadence 的 Tensilica 也推出了基于 ISP 和 CV 的 DSP。Vision C5 是一个神经网络 DSP（NNDSP，数字信息处理器），它在一个内核内处理神经网络层，网络层拥有 1024 个 8 位和 512 个 16 位 MACs，每平方毫米芯片面积每秒可以完成 1 万亿次 MACs（一个机器指令周期能实现乘加运算）运算。

     Vision C5 有很强的扩展性，内核可以增加到任意数量，拥有更强的性能，可以编程。Vision C5 是用台积电 16 纳米制程制造的，频率 690MHz，与商用 GPU 相比，它能让 AlexNet 的运行速度提高 6 倍，让 Inception V3 提高 9 倍，让 ResNet50 提高 4.5 倍。

     而全球最大的 IP 公司 ARM 由于侧重于移动端的 CPU 和 GPUIP，在 DSP 上的布局稍慢。当然由于 ISP 对移动端来说至关重要，ARM 也不会错过。通过收购 Apical 获得了 ISP 的 Know How，三星某款型号芯片上采用了该技术。但目前来看 ISP 与 Video Codec 的协同会更多，在嵌入式 CV 上的布局有待进一步确认。

     目前从视觉处理器 SoC 芯片产品来说，最知名的公司莫过于 Movidius 了，该公司已被 Intel 收购。Movidius 的 Myriad2VPU 在很多领域被广泛采用，包括大疆无人机，安防的海康和大华，以及在 VR/AR 等领域，实现图像拼接、识别等 AI 功能。该款 VPU 采用 12 个 SHAVE 128 位 SIMD 矢量单元，适合低功耗高性能下的视觉和图像算法，同时在 Computational Imaging Hardware Accelerators 部分集成了 20 多种图形图像的硬件加速算法，该芯片的时钟只有 300-600MHz，因此对于功率的要求很低。

    另一家出名的 3D 深度及计算视觉芯片公司要数 Inuitive（可用于 AR/VR/MR 等）了。其产品 NU3000 是谷歌 Project Tango 生态系统的一部分。开发人员能够利用它来助力需要实时深度图生成、映射、定位、导航和其它复杂信息处理算法的应用。该芯片包含的功能强大，包含了 Vision/Deep Learning Processor、ComputerVision Accelerators、Depth Processing Engine、Vision Processor 等。需要指出的是，从应用来看，Movidius 和 Inutive 的芯片是为 AI 相关应用而设计的，对画质的要求不需要那么高，ISP 部分应该做了简化。