成果应用

浙江大学光电科学与工程学院冯华君、徐之海课题组在移动端成像系统的像质提升方面获得突破性进展及应用，首次在大规模制造的系统中全部实现了接近衍射极限的像质提升，成果在国内顶级公司的旗舰产品中落地应用，被公司认可为“业界顶级”和产品的“重要卖点”，在多款手机上普遍应用。相关研究论文发表于《IEEE Transactions on Pattern Analysis and Machine Intelligence》等领域顶级期刊。。

冯华君、徐之海课题组自2014年起长期与顶级手机公司合作开展了多项智能手机图像处理技术研究。2019年3月，公司与课题组多次讨论，提出了能否使用算法解决手机镜头成像缺陷的需求。冯华君等老师组织了陈世锜、杨晨炜、常猛等同学反复讨论解决思路，在一一对比和排除之后，在国内外首次提出了计算光学的技术路线，并利用深度学习算法解决光学像差和加工偏差带来的退化。

针对真实世界中不存在理想镜头能够完美记录场景细节的问题，陈世锜等根据成像链路，设计了整套光学成像仿真模型来准确模拟光学像差在数字图像上的表现。通过成像仿真系统构建的数据可以表征特定光学系统获取图像的过程并用于训练深度学习模型。该工作表明，即使仅在模拟的数据集上进行训练，基于深度学习的计算光学方法依然可以矫正真实成像系统的光学像差，实现接近衍射极限的成像质量。

该项工作解决了真实成像系统的光学像差之后，在国内顶级公司的旗舰产品中落地应用，手机拍摄获得的图像质量大幅提升，被公司认可为“业界顶级”和产品的“重要卖点”，并在此后系列手机上普遍应用。相关研究成果于2021年发表在《ACM Transactions on Graphics》期刊[1]（图1），被“中国光学”、“Light”等国内外多家新闻媒体报道。。

图1 基于光线追迹和相干叠加的成像仿真系统（Chen et al., ACM TOG）

面对日益增长的手机模组产量和多镜头模组，大批量生产过程中成像系统引入的随机加工偏差无法忽略。为了进一步解决生产过程中引入的偏差问题，陈世锜等在光学成像仿真的基础上，提出了镜头的微扰模型及其光线追迹方法，并利用实测的空间频率响应调整光学系统的微扰参数，构建成像仿真结果和实拍接近的虚拟代理相机（图2）。优化得到的微扰参数被用于建模批量生产中引入的公差和图像复原模型的训练，可直接适配于同批次的真实加工样本，完满解决光学设计像差及加工误差带来的像质退化难题。

图2 光学系统的微扰模型及代理镜头优化框架（Chen et al., IEEE TPAMI）

该项工作首次在大规模制造的移动成像系统中全部实现了接近衍射极限的像质提升（图3），有望在加工生产中部署落地，使所有商用成像系统都能获得极大的成像质量提升。相关成果也已整理成文，发表于《IEEE Transactions on Pattern Analysis and Machine Intelligence》期刊[2]，审稿人评价该工作为“成像系统软硬件联合设计的新范式”。

图3 大规模制造成像系统的极限像质提升效果（Chen et al., IEEE TPAMI）

冯华君教授，从事光学成像和智能手机图像处理的教学/科研工作，发表论文160余篇，授权发明专利80余项，4次获省部一等奖和二等奖。

徐之海教授，从事航天光学探测和图像处理的教学/科研工作，发表论文150余篇，授权发明专利80余项，获省部一等奖1项二等奖2项，多次获探月工程突出贡献者表彰。

陈世锜博士生，从事计算成像、光学设计、图像复原方面的研究工作，作为第一作者发表4篇论文，均为领域顶级（CCF-A类）期刊或会议，授权发明专利4项。

参与本项目的课题组成员还有李奇教授、陈跃庭副研究员、蒋婷婷工程师和杨晨炜、常猛、潘德馨、林婷等研究生。

参考文献：

[1]  Shiqi Chen, Huajun Feng, Dexin Pan, Zhihai Xu, Qi Li and Yueting Chen, Optical aberrations correction in postprocessing using imaging simulation, ACM Transactions on Graphics, vol. 40, no. 5, sep 2021. DOI: 10.1145/3474088.

[2] Shiqi Chen, Ting Lin, Huajun Feng, Zhihai Xu, Qi Li and Yueting Chen, Computational Optics for Mobile Terminals in Mass Production, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, DOI: 10.1109/TPAMI.2022.3200725.