PhotoniX

研究背景

视觉是人类获取信息最重要的方式，而成像系统作为视觉信息的获取工具，扮演着至关重要的角色。成像系统的研究人员正面临着如何有效实现高性能成像的重大挑战，这些挑战包括大视场高分辨率成像、高帧率成像和高动态范围成像等。然而，自然/人造复眼的视距短、数值孔径小，导致空间分辨率低，很难解决上述困难。并行相机的出现则成为了应对上述挑战的一种重要方式，现有的并行相机遵循基于数字变焦的高密度像素数的原理，这类系统存在结构复杂、体积与成本成倍增加的问题。光学变焦的方式可成为解决上述问题的一个有效途径，然而现有的光学变焦系统无法直接实现边缘视场的变焦成像。因此，实现并行相机边缘视场的变焦具有重要的研究意义和应用价值。

导读

实现并行相机的高性能成像是一个全球性的挑战。然而，现有的解决方案在视场、分辨率和带宽之间存在根本矛盾，严重制约了并行相机的性能提升。

      近日，四川大学李磊教授研究团队和北京航空航天大学王琼华教授研究团队提出并研制了一款基于深度学习的全景并行（DLBP）相机，该相机具有8-μrad的瞬时视场和4倍计算变焦能力。 同时，该相机以每秒30帧的速度拍摄30-MPs图像的快照，实现了大视场和高分辨率成像兼容，也使系统的复杂性和成本大大降低。该成果以“Deep learning enables parallel camera with enhanced- resolution and computational zoom imaging”为题发表在国际顶尖学术期刊PhotoniX上。

主要研究内容

受螳螂虾复眼和变焦相机的启发，研究人员提出了一种基于深度学习的全景并行（DLBP）相机。研究团队使用6个子相机阵列，通过视场拼接的方式实现180°×90°的视场。DLBP相机具备6路视频同步记录的特性，可以实现全景图像的同步采集与显示。此外，研究人员还设计了一个端到端模型，该模型主要由多个卷积层、注意力层和反卷积层组成，以实时恢复重建过程中丢失的高频信息。DLBP相机没有采用直接拍摄大尺度快照的方式来提高可见光/近红外波段下的图像分辨率，而是采用深度学习和计算变焦技术的新方式来提升分辨率。同时，DLBP相机还具备高密度多目标人群的实时追踪功能，为反恐安防和大型体育赛事直播提供了重要设备。

技术突破与创新点

研究人员提出了一种基于深度学习的全景并行（DLBP）相机。如图1所示，该DLBP相机主要由系统主体、传输模块和计算模块组成。该DLBP相机具有8-μrad的瞬时视场，每秒30帧的4倍计算变焦速度。此外，DLBP相机以每秒30帧的速度拍摄3000万像素分辨率的快照，使系统复杂性和成本降低了数个数量级。

图1 并行相机DLBP样机

与传统的变焦系统或并行相机相比，DLBP相机竞争性的优势主要体现在：（1）不依赖于任何组件/驱动，利用深度学习的方式学习光学变焦，能够在所需的焦距内恢复成理想的成像；（2）DLBP相机改变了传统阵列相机成像的变焦规则，不需要对边缘视场进行光学偏转便可实现变焦功能，替代了传统相机需要云台进行偏转的缺点；（3）提高了~100倍的变焦速度，这对需要快速变焦的场景具有重要意义。此外，研究人员对研制的相机系统的成像性能进行了专门的外场测试，DLBP相机的成像效果如图2 所示。

图2 DLBP相机拍摄的交互式全景示例。（a）拼接的全景，由6个子图像拼接而成；（b-d）具有4倍计算变焦的超分辨重建图像；（e）全景中标记的区域；（f-g）4倍计算变焦的超分辨重建图像，恢复了从短焦到长焦成像的丰富信息；（h）从全景中标记的区域；（i）4倍计算变焦的超分辨重建图像；（j）天眼卫星地图；（k）DLBP与传统系统的比较。

结论与展望

DLBP相机的灵感来源于螳螂虾复眼和变焦相机，具有高度的可扩展性、灵活性和鲁棒性。该相机具有8-μrad的瞬时视场，每秒30帧的4倍计算变焦速度。此外，DLBP相机以每秒30帧的速度拍摄3000万像素分辨率的快照，使系统复杂性和成本降低了数个数量级。同时，该相机的实时追踪功能，使得它能被广泛应用于大型体育赛事直播、全景监控以及反恐安防等场景中，有望应用于天文望远侦测以及超大型机场监控等重要场景。