神经辐射场模型NeRF | 您所在的位置:网站首页 › 怎么插入3d模型 › 神经辐射场模型NeRF |
NeRF,即Neural Radiance Field Model 模拟了光成像的某些物理原理,可用于需要3D/2D渲染的任何场景,包括游戏,AR/VR,SLAM。 利用NeRF模型输出的结果,可以输出一个对3维场景的拍照,从任意角度拍摄的拍摄的照片。 我们通常制作具有良好3D效果的渲染图,一般是先生成3D点云,然后再对点云进行表面渲染,得到最终的渲染结果。 也就是说,我们先前要得到有3D效果的渲染图,都是要生成3D点云或者3D模型的。 但是,这个模型既不用生成3D点云,也不用生成3D模型,而是生成了一个所谓的辐射场,而这个辐射场,是包含着成像的物理原理的,所以用这个辐射场,可以绕过3D点云,直接生成拍照结果。 总的来说,用这个模型,就不用再生成3D模型了,而是依照成像的物理原理,利用模型输出的辐射场,来合成拍照结果。 辐射场怎么生成照片?给辐射场一个位姿T(3维位置和朝向),利用体积渲染技术,就能得到在位姿T处对辐射场所隐含的三维场景的拍照。 这里的3.3部分:https://zhuanlan.zhihu.com/p/390848839 嵌入在如下框图内训练的: 实际上,神经网络每次输入一组位姿(x,y,z,theta,fai), 对应得到一组辐射场值(r,g,b,delta) 那么图上指明要用所有三维度点的位姿,这就是说,每个位姿都要输入一次神经网络,才能得到完整的辐射场。得到完整的辐射场后,才能够合成拍照。 不过真正训练的时候,也可以不用生成全部三维点的辐射场值,可以只生成用来计算loss的三维点的辐射场值。 因为这个神经网络模型生成的是辐射场,我们称其为:神经辐射场模型。 NeRF模型结构这个神经辐射场模型的内部结构如下: 想了解更细节可以看论文,也可以直接在知乎上搜高赞文章 论文: 可以看这里:https://zhuanlan.zhihu.com/p/569843149 结尾处的说明: 想了解更细节可以看论文,也可以直接在知乎上搜高赞文章 论文: 若打不开,就从这里下: 扩展后,有望使用场景3D游戏: 一个游戏场景对应一个,或者若干个辐射场。SLAM: 辐射场连接了位姿和二维图像,传统 SLAM,比如orb-slam是用3D点的投影变换来连接位姿和二维图像的。二维辐射场的连接还是连续连接,比密集连接还密集。而orb-slam指示离散的稀疏连接。只用把ORB-SLAM中,求位姿,求3D点的部分都想办法交给辐射场类的模型去迭代优化即可。离线,在线都可以。在线就不要想达到实时了。 美颜/毁颜:给一段某人物的一段视频,就可以输出360度拍照。 VR/AR:VR,AR的场景直接渲染进入一个神经网络里即可。 期待速度进一步提升。 |
CopyRight 2018-2019 实验室设备网 版权所有 |