论文阅读：PCN: Point Completion Network

PCN: Point Completion Network 点云修补网络

卡耐基梅隆大学机器人研究所{wyuan1, tkhot, dheld, cmertz, Hebert}@cs.cmu.edu

PCN源码

本文提出了一种新的基于学习的点云修补网络，和现有的补全方法不同，PCN直接对原始点云进行操作，没有任何结构假设(如对称性)或对底层形状的注释(如语义类)。它的特点是一个解码器设计，允许在保持少量参数的同时生成细粒度的完成。我们的实验表明，PCN在具有不同程度不完整性和噪声的输入(包括来自KITTI数据集的激光雷达扫描的汽车)的缺失区域产生密集、完整的点云，具有真实的结构

采集的3D数据往往不完整，这回导致信息的丢失。针对这一问题，本篇论文呢提出了一种深度学习的方法来完成数据的修复，使用编码器-解码器网络直接映射残缺点云到完整点云。

基于学习的形状补全方法，无需中间体素化，直接操作三维点云 一种新颖的网络架构，以粗到细的方式生成密集、完整的点云 大量实验表明，在较强的基线上，完井效果得到了改善，对噪声和稀疏性的鲁棒性，对真实数据的泛化，以及形状完井如何帮助下游任务

我们的方法是建立在操作点云的深度神经网络的几个最新进展之上的。PointNet及其扩展[37,38]是这一领域的先驱，在开发这项工作时是最先进的。它将点态多层感知器与对称聚合函数相结合，实现了对排列的不变性和对扰动的鲁棒性，这对点云上有效的特征学习至关重要。从那时起，人们提出了几种替代方案[23,51,53,57,58]。其中任何一个都可以作为编码器加入到我们提出的模型中。从学习到的特征生成点集的解码器网络的工作相对较少。[1]采用简单的全连接解码器，[11]则提出了将全连接层和反褶积层结合起来的多分支解码器。最近，[60]介绍了一种有趣的解码器设计，它模拟了二维平面到三维平面的变形。然而，这些方法都不会产生超过2048个点。我们的模型结合了这些设计的优点，以高效的方式生成更高分辨率的输出。

x是一组位于物体被观察表面上的三维点，通过三维传感器的一次观察或一系列观察获得。Y是一组密集的三维点，均匀地从物体的观察表面和未观察表面采样。我们将形状补全问题定义为predictingYgivenX。注意，在这个公式下，x不一定是y的子集，X和Y的点集之间没有明确的对应关系，因为它们是从底层对象表面独立采样的。我们使用监督学习来解决这个问题。利用大规模的合成数据集，可以很容易地获取x和y的样本，我们训练一个神经网络来直接从x中预测。该网络是跨多个对象类别的通用网络，不假设任何底层对象的结构，如对称性或平面性。网络架构在第4节中描述，训练过程在第5.1节中描述。

在本节中，我们将描述我们提出的模型——点完成网络(PCN)的体系结构。如图2所示，PCN是一种编解码器网络。编码器取输入点cloudXand输出ak维特征向量。解码器采用这个特征向量并产生一个粗输出点cloudycoarse和一个详细输出点cloudYdetail。在地面真值点cloudygt与解码器输出之间计算损失函数lis，利用该函数通过反向传播训练整个网络。请注意，与自动编码器不同，我们没有显式强制网络在其输出中保留输入点。相反，它学会了从局部观察空间到完整形状空间的投影。接下来，我们描述了编码器、解码器的具体设计以及所使用的损耗函数。 图2:PCN的架构。编码器将输入点云x抽象为特征向量。解码器使用v首先生成一个粗输出，然后是一个详细的输出。每个彩色矩形表示一个矩阵行。相同颜色表示相同内容。

点云特征编码器主要的工作是将几何信息转换为特征向量v∈R^k， where k = 1024 , 本文的编码器是PointNet的扩展版本，它继承了pointNet对于排列不变性和噪音的容忍度，可以处理不同的点的输入。 具体来说，编码器由两个堆叠的PointNet (PN)层组成。第一层消费以m×3的矩阵 P ，每一行为点pi= (x, y, z)的三维坐标，使用一个共享的多层感知器(MLP)，由两个具有ReLU激活的线性层组成，将每个点转化为一个点特征向量。这给了我们一个特征矩阵，它的行是学到的点特征。然后，在f上执行逐点maxpooling，获得ak维全局特征，where g j= max i=1，…，m{Fij}forj= 1，…第二层PN层以f 和g 为输入。它首先连接每一个图来获得一个增广点特征矩阵，其行为连接的特征向量[图]。然后，F通过另一个共享的MLP和类似于第一层的点最大池，得到最终的特征向量v。

解码器负责从特征向量生成输出点云。我们提出的解码器结合了全连接解码器[1]和基于折叠的解码器[60]在多级点生成管道中的优点。在我们的实验中，我们表明我们的解码器比完全连接或基于折叠的解码器本身的性能更好。 我们的关键观察是，全连接解码器擅长预测稀疏的点集，这代表了一个形状的整体几何。同时，基于折叠的解码器在逼近光滑表面方面也很出色 将点云生成分为两个阶段： 第一个阶段，通过一个带有3s 的output单元的全连接网络生成粗输出，并将输出重塑为s×3的举证。在第二阶段，对于y coarse中的每个点qi，通过折叠操作(详见SectionBin the supplementary)，在以qi为中心的局部坐标中生成t=u^2 个points，并通过在输出中添加换为全局坐标。组合所有s patch将得到详细的输出y detail 。这个多阶段过程允许我们的网络生成密集的输出点云，比全连接解码器(见表1)参数更少，比基于折叠的解码器更灵活。