GitHub

作者们提出了一种image-guided volume-to-volume translation进行单图真人三维重建的CNN算法。 为了减少表面重建的模糊噪声（包含不可见区域重建，指相机视角看不见的地方），作者提出通过SMPL模型生成的密集语义作为输入。（即神经网络的输入为图片、无背景的二维人体语义图和语义volume）。 这个网络的一个关键特征就是，通过空间特征变换，将不同尺寸的图像特征融合到3D空间中，有助于恢复平面几何的精确度。(图像搭配语义图，由于语义图具有一定的梯度性，能够将3D模型表面恢复得更光滑平整，指网络结构图中橙+蓝+绿部分)。 可视的平面(相机视角)细节通过一般细化网络(Normal Refinement Network,黄色部分)进一步细化, 使用我们提出的容积法向投影层(Volumetric Normal Projection Layer, 结尾最后交汇的箭头),与容积生成网络(Volume Generation Network, 指图中的蓝色和绿色的volume-to-volume translation network)使用连接(concat)操作，用于支持end-to-end的训练。 还有贡献了一个三维基于真实世界的3D真人模型数据集-THUman。由于作者网络架构的设计与数据集的多样性，只需要给出单张图片，就能优于现在大多数的单图人体三维重建方法。

Tips 紫色箭头就是文章中描述的volume-to-normal部分，三维投影到二维，然后与input的原图和语义map一起进入normal refinement network进行处理。

将三维人体重建任务分解为三个子任务： a）从输入图像进行参数化人体估计 b）从图像和估计的身体进行表面重建 c）根据图像进行可见表面细节细化

作者们介绍了Pixel-aligned Implicit Function (PIFu), 一种2D图片与其对应3D物体的全局信息进行局部像素对其的隐式表达方法。 PIFu是一种能够从单图或多图预测目标3D表面和材质的针对数字化高细节化穿着人体的end-to-end的深度学习方法。 高度复杂的形状，例如：头发、衣服，以及他们的变化和形变都可以统一数字化。对比现在已有的深度学习方法，PIFu可以产生大量的高分辨率的表面(包含如人的背部等看不到区域)。 尤其是不同于那种体积元素(内存密集型)表示的，它是内存高效的，能够掌控任意的拓扑，和结果表面是空间对齐输入的图片。 此外, 以前的算法是用来处理单个或者多个视觉的，PIFu可以自然地拓扑到多个视觉。PIFu在公共基准上达到了SOTA的性能，已经优于先前单一穿着人体图像数字化的工作。