RGBD深度相机数据格式

此处RGBD相机主要指利用Light Coding（结构光）或TOF进行成像的深度相机，主动发光，主要适用于室内环境。

比较常见的RGBD相机如下表：

通常深度数据使用整形数进行表示，范围在0-65535之间，类型为UINT16，即unsigned short，无符号2字节 单位为毫米（mm），但是某些SDK也支持使用100微米(um)来进行表示，如OpenNI支持的深度数据格式有PIXEL_FORMAT_DEPTH_1_MM，PIXEL_FORMAT_DEPTH_100_UM等。至于分辨率则通常是万年的640x480，有些甚至是320x240插值上去的。

由于Depth有一定的有效工作范围，以PrimeSense Carmine 1.09为例，其工作范围只有0.35-1.4m，即数据范围是350-1400，通常会使用一个数值来表示无效的数据，如0或65535。

通常RGB Sensor和Depth Sensor的FOV并不一致，所以需要进行配准，配准的目的是使得RGB的像素和Depth的像素一一对应。谁向谁来配准倒是没有那么重要，深度图也可以被插值，与彩色图类似。

以OpenNI为例，里面有一个这样的接口，setImageRegistrationMode(IMAGE_REGISTRATION_DEPTH_TO_COLOR)，其效果是裁剪缩放深度图使得其FOV与RGB完全相同（但其实边缘已经没有了，全部都是无效的Depth像素）。

根据之前的描述，深度图的表示也很简单，如下：

我们可以自己实现保存与读取的方法，也可以借助一些第三方SDK，如OpenCV进行读写， 在操作深度图时，OpenCV使用的格式是CV_16U，举个例子：