Open3DGen：从RGB

点云PCL免费知识星球，点云论文速读。

文章：Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images

作者：Teo T. Niemirepo, Marko Viitanen, and Jarno Vanne

编译：点云PCL

代码：https://github.com/ultravideo/Open3DGen.git

文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。

摘要

本文介绍了第一个完全开源的跨平台软件Open3DGen，用于从RGB-D图像重建照片级具有真实感的3D模型，该软件流程上包括九个主要阶段：1）RGBD采集；2） 二维特征提取；3） 摄像机姿态估计；4） 点云生成；5） 粗网格重建；6） 可选环路闭和检测；7） 精细化网格重建；8） UV展开；9）纹理投影。此端到端方案结合了多种最先进的技术，并为实时三维模型重建和离线纹理映射提供了易于使用的软件包。主要创新在于各种运动结构（SfM）技术，这些技术与其他深度数据一起使用，以实时和低成本生成高质量的3D模型。Open3DGen的功能已在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上验证，验证了设置在不使用脱机后端的情况下，720p（1280×720）RGBD输入的平均处理速度为15 fps，我们的解决方案通过最先进的商业和学术解决方案提供具有竞争力的3D网格质量和运行效率。

主要贡献

表1描述了用于3D数据捕获、重建和纹理映射的最著名的软件框架，它们可以分为摄影测量、SLAM和基于RGB-D的三维扫描方法。

本文提出了一种端到端的三维重建软件Open3DGen，该软件采用SLAM和摄影测量方案的特征，以便从RGB-D图像快速生成精确的真实感纹理三维模型，据我们所知，这是第一个完全开源和跨平台的软件实现，用于1）实时3D网格重建和2）相关离线纹理映射。

图1概述了提出的Open3DGen流程，该流程以模块化和灵活的方式整合了3D捕获过程的所有阶段，所采用的图像处理算法倾向于在文献中进行全面的研究和记录，但它们的实现往往缺乏功能、可用性或许可。这项工作特别涉及这些算法的实现方面，并试图提供一个开放、准确、易于使用的软件包，方便地与消费级RGB-D相机配合使用。

图1:Open3DGen流程的主要处理模块

主要内容

该方案可分为两个主要部分：

1）实时前端用于RGB-D数据捕获和带有顶点颜色的粗略三维模型重建；

2）离线后端用于模型细化和纹理映射，粗网格生成的前五个阶段可以实时完成，以立即向用户提供重建模型的近似值。

图2显示了测试RGB-D图像序列的流程操作

表2列出了所采用算法及其实现的分类

A. Open3DGen：前端

实时前端包括以下五个主要阶段：

1）RGB-D采集；

2） 二维特征提取；

3） 摄像机姿态估计；

4） 点云生成；

5）粗网格重建。

B. Open3DGen：后端

该方法的离线后端由四个阶段组成：1）循环闭合和相机姿势优化；2） 网格重建；3） UV展开, 4）纹理投影。然而，环路闭合和摄像机姿势优化是一个可选模块。

在这四个阶段之间，可以导出生成的点云或三维网格以进行手动处理，手动优化网格拓扑或使用自动化解决方案可以获得更好的结果，然后，可以将编辑的网格重新导入流程中以进行纹理投影，如果深度数据特别嘈杂且具有大量异常值，则在纹理投影之前编辑原始网格或点云数据也很有用。

图3：茶壶的网格三角形拓扑

实验

实验的输入RGB-D图像是用Intel RealSense D435相机拍摄的，基准测试是在配备AMD Ryzen 3900X处理器和Nvidia GTX1080显卡的台式工作站上进行的，操作系统是Ubuntu Linux 20.04。

图4：三个测试场景的重建质量比较 (a) Metashape. (b) Meshroom. (c) Open3DGen.

表3:Metashape、Meshroom和Open3DGen之间的性能比较

总结

本文介绍了一个完全开源的跨平台软件Open3DGen，用于从RGB-D图像重建高质量的纹理三维模型， 提出的Open3DGen流程由用于粗略三维模型重建的实时前端和用于模型细化和纹理映射的离线后端组成，该系统在不同的操作条件下，具有多方面的输入，具有很强的鲁棒性，生成的三维模型可以在各种计算机图形学和其他三维应用程序中使用，Open3DGen的概念验证设置能够在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上以15 fps的平均处理速度从720p RGB-D输入重建粗略的3D模型。结果表明，在处理时间的一小部分内，其质量可与最先进的摄影测量软件媲美或超过该软件，未来，Open3DGen CLI将升级为直观的图形用户界面（GUI），Open3DGen流程的后端将进行实时处理优化，完全实时的Open3DGen软件可用于将下一代交互式和实时应用程序的用户体验提升到更高的沉浸度。