苹果新功能「空间拍摄」是如何实现的？

今天，苹果宣布推出一项新的iPhone功能。据悉，该功能还将与其在今年早些时候发布的XR头显Apple Vision Pro相结合：借助新发布的iPhone 15 Pro，用户将能够捕捉并获得“空间视频”。该公司表示，这些视频将让用户在Vision Pro上以一种新的方式“重温过去的记忆。”此外，用户还可以与任何拥有Vision Pro的人分享这些让人产生身临其境感觉的空间视频。

当苹果推出Vision Pro时，“空间计算”的概念就深入人心，本次推出的iPhone 15 Pro还采用了新的纳米级涂层来减少镜头眩光，以及一些计算摄影技术，可实现一系列新的肖像模式来拍摄3D“空间视频”，然后用户可以将其转化在Vision Pro上，进而获得更加具有深度感知的视频和图像。

对用户来说，苹果的这项技术可以让人更轻松地使用随身携带的手机，而不是额外使用某些单独的设备来拍摄视频，这样就不会错过特殊时刻的记录。当然据官方介绍，低配版的iPhone 15和iPhone 15 plus似乎并不具备该项功能。在苹果提供的示例中，体验者使用iPhone 15 Pro记录了一个家庭的海滩度假，从现有画面来看，真实和细腻的画面所呈现出的空间视频，仿佛确实让体验者“回到了那个时刻。”

从技术角度分析，在新推出的iPhone 15 Pro中，用户似乎可以体验到超广角摄像头和主摄像头的双重配合。这种看似类似传统3D电影的拍摄方式，主要是通过两个一定间距的镜头进行画面捕捉，通过利用镜头间的画面视差，并分别呈现给人的左眼和右眼，最终产生3D的画面。

不过苹果的3D拍摄功能可能会与现有的双目技术不同，它可能使用多个摄像头和传感器来捕捉3D信息。虽然这项技术的具体细节尚未公布，但根据此前的报道来看，Vision Pro头显具有12个摄像头和5个传感器，包括1LiDAR、2结构光深度传感和2*IR红外传感，这些传感器用于处理空间环境感知、手势识别、三维建模和眼动追踪等功能，因此引入LiDAR深度传感器的数据，对iPhone拍摄的原画面进行重投影和修正，进而生成符合双眼舒适视差的画面可能更为符合苹果的实际情况。

如果苹果的3D拍摄功能主要通过多摄像头和传感器来实现，那么就意味着这些设备可以捕捉到物体的多个角度和深度信息，并将其合成为三维模型。同样的这种技术也可以应用于手机、平板电脑、笔记本电脑等设备，并支持在AR应用程序中使用。

事实上，利用脉冲激光测量目标距离的LiDAR技术，早已广泛应用于测绘学、考古学、地理学等学科领域。但作为少数载移动设备上加载LiDAR技术的厂商，苹果在2020年推出的iPad Pro、iPhone 12 Pro等产品上就将这项技术成功应用于消费电子市场。尽管如此，对于非专业用户来说，LiDAR技术的价值和功能并不像摄像头像素提升所带来的图像清晰度提高那样直观，也不像广角镜头所带来的视野扩展那样显而易见。不过本次苹果推出的空间拍摄也许将彻底改变这一局面。

iPhone在LiDAR技术的加成下，可以辅助摄像头元件获取对象和空间的测量值，检测人或物体的位置和距离，继而结合场景几何体生成的三维网格数据，通过启用虚拟对象的即时放置并将与物理环境无缝混合，令虚拟对象更为逼真。不过也有专业人士表示，本次苹果发布的Vision Pro演示内容，看似是带景深的3D视频，但其实际上不需要3D重建技术，它也不是3D模型，而是一种是一种立体显示技术，其优势是可以让用户看到具有物理景深的三维图像，获得更好的体验感。

毕竟除了空间定位之外，LiDAR还可以辅助3D建模。虽然LiDAR对于特别是小的静态物体的重建精度不够，但其用于空间定位时可以实现精准的效果，因此可以使用LiDAR获取深度信息，结合RGB摄像头捕捉高精图片，双方进行结合融汇，完成高精度3D重现的视觉效果。

但使用LiDAR配合进行空间检测同样有利有弊，这种对算力要求超高的过程会增加设备的运行负担，因此，有专业人士推测，苹果的3D体三维视频在录制时可能会出现算力不足的问题，从而影响画质和帧率。

不过目前具体的使用体验和画质效果尚不得知，但似乎可以肯定的是，苹果的3D拍摄功能可能是一种新的3D捕捉技术，能够完整地记录对象的三维信息。而通过苹果Vision Pro头显可以观看空间视频，呈现出空间感，并且可以录制空间视频或照片，也表明苹果的3D拍摄功能可能与此有关。未来也许这项技术可以应用于iPhone或更多的苹果设备，以拍摄和呈现3D内容。

虽然苹果并没有公布空间视频录制过程及如何工作，或Vision Pro上的观看和共享体验的详细技术细节，而是将其视为未来产品体验计划的重要部分。

但不可否认的是，本次苹果提出的空间拍摄概念，将原有的3D拍摄技术推向了更高层次。这种能够在真实空间中对这些信息进行处理和呈现的技术，显然需要更加复杂的技术和算法，例如空间点云技术、三维重建技术、可视化技术等。

从某种意义上说，苹果的3D拍摄功能在一定程度上已经实现，但是要在全行业中真正实现还为时尚早。如果能够实现空间拍摄，AR应用程序中的物体将会更加真实、准确，这将有助于推动AR技术的发展，并带来更多创新的应用场景。同时三维模型也将在诸多领域大放异彩，例如通过三维模型来辅助医生进行手术计划和手术导航，或者是工业设计和制造过程。总之，空间拍摄这一概念代表着重要应用前景，但是要真正实现空间拍摄，还需要更多的技术突破和实验验证。