虚拟现实（VR）和增强现实（AR）背后的核心技术是什么？

你或许不知道AR/VR究竟是什么，但你一定对这两个词不陌生。2022年，距离谷歌推出的首款Google Glass（AR眼镜）已经过去整整十年。十年间，AR/VR行业经历了从兴起，到繁荣，再到低谷。2021年，伴随着Facebook和微软高调宣布进军AR/VR行业，多家大厂（Sony，三星等）纷纷推出终端产品。

本文主要包括AR/VR简介；基本概念；面临挑战；VR系统；AR系统；MR系统；新技术带来新发展等多个部分。

图1中直观展示了VR/AR/MR/DR的区别。 如果我们把现实世界（real world）和虚拟世界（virtual world）分别画在坐标轴的两端，VR（virtual reality虚拟现实）指的是完全的沉浸于虚拟世界；AR（augmented reality 增强现实）则介于虚拟世界和现实世界之间，是虚拟世界和现实世界的结合；MR（merged reality，mixed reality，混合现实）则介于AR和VR之间，填补了AR和VR之间的空缺，简单的可以理解为两者的组合，可以任意切换AR和VR两种状态，有些地方也用ER（extended reality扩展现实）来描述MR；此外，DR（diminished reality）为介于真实世界和AR之间的状态。

（copied from book“ Optical Architectures for Augmented, Virtual, and Mixed-Reality Headsets”）

为了更好的理解AR/VR的技术原理，本部分将聚焦一些人眼和AR/VR系统的基础定义。

人眼是一种自然进化的光学成像系统。光线通过可调节的虹膜进入眼睛，控制光通量。光线被角膜和晶状体折射后，在视网膜上形成图像，其中感光细胞将光信号转换为电信号。然后，这些电信号在视网膜上经过重要的信号处理（例如，水平细胞的抑制）传递给大脑。 最后，大脑解释图像并感知基于多个线索的 3D （three-dimensional三维）对象。

（copied from paper“ Toward the next-generation VR/AR optics: a review of holographic near-eye displays from a human-centric perspective”，optica）

IPD（interpupillary distance瞳间距）： 人眼瞳孔之间的距离。个体之间存在差异性，成年人大概在50mm-75mm范围内。

FOV（field of vision视场角）：可以看到的角度范围，如图2所示。左眼和右眼在水平方向的FOV分别在180°左右，重叠区域视场在120°左右；在垂直部分的视场大约在130°。

Visual acuity（视觉敏锐度）：眼睛分辨细小特征的能力。在眼睛的视野中，视网膜感光细胞在中心区域和外围区域的密度显着不同。

视觉敏锐度依赖于感光细胞密度。 视网膜的中央凹区域，具有最高的感光器密度，并且该区域跨越5.2°视场角（图中fovea）。 在中央凹区域之外，视力急剧下降。人眼的视觉敏锐度20/20 amounts相当于 1 arcmin angular resolution或者60 pixels per degree (PPD)。

（copied from paper Augmented reality and virtual reality displays: emerging technologies and future perspectives）

FOV （field of view视场角）：从显示模块发出的光投射到一个视场角内被观众感受到。应与人眼本身的视场角相匹配。

Eye box（眼动范围）：无渐晕无像差的视野范围。在一些学术文章中多定义为人眼接收到的清晰成像的三维图像的体积。Eye box与人眼的IPD相关，约为12mm。眼动范围越大，对不同人眼的IPD包容度越大。

Exit pupil（出射光瞳）：在光学系统上指的是光圈的真正直径，对于人眼只有穿过这个口径的光线可以离开系统。

Eye relief（出瞳距离）：眼角膜到第一个光学元件的距离，表示可以看清整个视场的距离。我们平时佩戴的近视眼镜的出瞳距离约为12mm，隐形眼镜的出瞳距离为0mm。

Angular Resolution（角度分辨率）：表示感知图像的清晰度，定义为显示面板的总分辨率除以视场角FOV。AR/VR的终极目标都是角度分辨率与人眼的视觉敏锐度完全匹配。

（copied from paper Augmented reality and virtual reality displays: emerging technologies and future perspectives）

ACR（ambient contrast ratio）：用来表示AR系统中的图像对比度。

Lam表示环境光亮度，T表示透过率，Lon和Loff分别对应投影系统开和关时的亮度。当不考虑光损耗时，若要在晴天（3000 nits）达到ACR=10:1，显示屏的亮度需要达到30,000 nits。

不论是AR/VR/MR/DR中的哪一种，它们的发展都面临着一些共同的挑战，这些挑战制约了发展也决定着它们下一步将成为消费电子领域的新热点还是步入下一个寒冬。Common Challenges主要分为三类：Visual Comfort（视觉舒适度）；Wearable Comfort（穿戴舒适度）；Social Comfort（社会舒适度）。

视觉舒适度

视觉舒适度顾名思义指的是在AR/VR世界里人眼的舒适程度。它包括大的视场角，大的眼动范围，与视觉相匹配的角度分辨率，足够的屏幕亮度以及没有VAC（vergence-accommodation conflict视觉辐辏调节冲突或称为调焦冲突）等因素影响。

穿戴舒适度

穿戴舒适度主要包括小体积，轻重量，即更加的轻薄紧凑。

社会舒适度

社会舒适度主要包括外观设计容易被大众接受，不另类不非主流，比如女生们出去玩更喜欢佩戴的隐形眼镜和美瞳等，其社会舒适度很高。这一点跟硬件原理等关系不大，在后文中不再关注。

-----禁止转载

-----禁止转载

-----禁止转载

可以用于VR的NED（near eye display近眼显示）大致分为三种，如图1所示。

一种基于stereoscopic image（静态图像），此类光学系统包括micro-display（微型显示器）和光学元件（如凸透镜（组），菲涅尔透镜（组），超透镜（组）等等）两部分。光学元件将微型显示器上的图像投影放大呈现给人眼。对于此类系统，左眼和右眼观察到的图像不同，通过大脑的信息提取和处理感受到具有层次感的立体效果。

一种是基于CGH（computer-generated holography计算全息图），此类系统通过相关光源，空间光调制器等直接再现计算全息图记录的3D图像。

最后一种是基于Maxwellian显示的retinal-3D（视网膜3D），此类系统不考虑人眼的光焦度，通过将光线聚焦到瞳孔上形成焦点进入观察者眼睛，在视网膜上形成广而均匀的照明。此类系统将显示屏上的图像逐像素扫描到受试者的视网膜，允许单个像素在图像被扫描到用户的视网膜时受到动态的光学影响。这使得打算出现在场景中不同深度的内容（物体、表面等）能够以正确的深度投射到用户的眼中。

(copied from “Holographic techniques for augmented reality and virtual reality near-eye displays” and “Retinal 3D: Augmented Reality Near-Eye Display Via Pupil-Tracked Light Field Projection on Retina”)

Visual comfort

视觉舒适度主要从缓解VAC,增大eye relief，增大FOV和eye box等方面进行论述。

(copied from “Holographic techniques for augmented reality and virtual reality near-eye displays”)

对于基于静态图像显示的VR光学系统，会产生VAC（vergence-accommodation conflict视觉辐辏调节冲突或称为调焦冲突）。观察现实世界中的三维物体时，vergence distance与accommodation distance 完全相同。然而因为显示器面板到人眼的距离是固定值，图像在单一深度显示，图像内容由视差渲染在三个尺寸，为两只眼睛提供不同的图像。这方法为辐辏提供了适当的刺激（vergence cue），但忽略了调焦提示（accommodation cue），这导致众所周知的 VAC 会引起不适眼镜疲劳和不舒服。 （换而言之，观看者大脑中的视觉系统将迫使眼球聚焦在虚拟 3D 物体上，而眼睛的晶状体聚焦于显示平面，导致适应距离和辐辏距离不匹配产生晕眩）

多焦系统缓解VAC的方式是通过产生多个图像平面或者移动图像平面的位置使vergence distance和accommodation distance相匹配。根据不同的原理，多焦系统可以分为space multiplexing system（空间复用系统），time multiplexing system（时间复用系统）和polarization system（偏振复用系统）。在具体使用过程中，也可以是空间复用，时间复用和偏振复用的结合去增加焦平面的数量。

Space multiplexing

空间复用可以同时生成多个不同深度的图像平面。最简单的方法是物理上放置多个透明屏幕面板（缺点：多个面板堆叠会产生莫尔条纹）；也可以使用分束器 (BS) 来帮助建立空间复用系统，显示面板放置在一侧，而 BS 反射不同的显示器的部分。由于每个分束器与人眼的距离不同，所以显示的图像在不同的深度。

(copied from “Virtual reality and augmented reality displays: advances and future perspectives”)

Time multiplexing

时间复用通过及时调节显示面板距离或者调节光学元件的有效焦距。面板距离通常由机械马达调节，导致缺乏稳定性。 对于时间复用，调制率至少应为 N倍（N是图像平面的数量）显示帧速率以避免运动模糊。

(copied from “Virtual reality and augmented reality displays: advances and future perspectives”)

Polarization multiplexing

偏振复用根据不同的偏振状态生成多个图像平面。主要包括偏振相关透镜和PPML。偏振相关透镜对于两个正交偏振态具有不同的焦距。 一种是Pancharatnam-Berry相位透镜，基于左旋圆偏振光 (LCP)/右旋圆偏振光 (RCP)。另一种是双折射透镜，基于水平和垂直的线偏光。PPML（pixelated polarization modulation layer）可以是线性偏振系统的偏振旋转器或用于圆偏振系统的集成偏振旋转器和四分之一波片。

(copied from “Virtual reality and augmented reality displays: advances and future perspectives”)

在显示面板前添加微透镜阵列（MLA）全局或单独改变虚拟图像的位置。当 MLA 与显示面板精确对齐时，MLA 的微小移动会导致虚像的焦点发生较大变化。因此，不是移动更厚的显示面板或在更长的范围内体积更大的镜头，推动或拉动 MLA一小段距离可以显着减轻VAC。值得一提的是，基于液晶材料的MLA焦点可以切换动态为几微米，这意味着无需任何操作即可获得虚拟图像的运动机械运动。如果每个 MLA 元素都可以精确独立控制，然后我们可以为每个小透镜产生一个特定的焦点并生成像素化深度。

(copied from “Virtual reality and augmented reality displays: advances and future perspectives”)

光场显示器不是改变图像焦点，而是理想地重新创建真实对象的物理波前。光场捕获（例如积分成像）可以通过透镜阵列将来自显示像素的光转换为具有任意空间角度的光线（光场相机）。为了显示一个虚拟的 3D 对象，我们追踪物体上的点并点亮显示面板上的相应像素。然后，光场开启这些点用离散的发射射线来近似。

(copied from “Virtual reality and augmented reality displays: advances and future perspectives”)

Eye box和FOV是近眼显示的重要参数。比如，为了人眼的舒适度，VR系统需要达到的最低视场角为100°和eye box值约为12 mm。Eye box和FOV相互关联，遵循光学扩展量守恒定律。光学扩展量（Etendue）指的是光束所通过的面积和光束所占有的立体角的积分。

典型的增大eye box的方法包括pupil tracking和pupil replication。

Pupil tracking：加入眼动追踪模组，通过MEMS动态控制激光照射方向，从而控制在人眼前的焦点位置。简单来说，就是人眼往哪里看，光往哪里聚焦。有些学术文章中也将其称为dynamic eye box。

（Copied from “Jang, C. et al. Holographic near-eye display with expanded eye-box. ACM Transactions on Graphics 37, 195 (2018)”）

pupil replication：形成多焦点阵列。首先通过空间光调制器的激光光束经过4f系统保留一个水平方向的带宽，垂直方向的全部保留。全息光学元件（HOE）图像组合器作为水平复用凹面镜，形成三个复制的焦点。优化设计使彼此之间没有重叠和间隙。

（Copied from “Choi, M. H., Ju, Y. G. & Park, J. H. Holographic near-eye display with continuously expanded eyebox using two-dimensional replication and angular spectrum wrapping. Optics Express 28, 533-547 (2020).”）

除了上述两种常用的增大eye box的方法，对于一些具体的VR实现方式也存在一些其他的方法。比如对于基于空间光调制器SLM的全息显示类VR，eyebox与SLM的最大衍射角度相关，而衍射角度跟像素单元的间距相关。将光子筛和空间光调制器结合可以有效减小像素间距。随机分布的细小孔筛增加了衍射角，从而扩大系统的视野范围。

（copied from “Park, J., Lee, K. & Park, Y. Ultrathin wide-angle large-area digital 3D holographic display using a non-periodic photon sieve. Nature Communications 10, 1304 (2019).“）

与之异曲同工的是将一种随机相位掩模被放置在SLM的共轭平面上，波前被掩模版散射到更大的角度范围内。 增加的衍射角导致FoV 的增强，使更大的 3D 图像呈现给用户。

（copied from “Kuo, G. et al. High resolution étendue expansion for holographic displays. ACM Transactions on Graphics 39, 66 (2020)”）

------禁止转载

------禁止转载

------禁止转载

核心：基于偏振的光路折叠，创建cavity折叠光路

BS+反射偏振器

BS具有 50% 的透射率，在反射时翻转了入射偏振光的旋性

反射型偏光片选择性透射具有一种偏振态的光并反射正交的偏振态，这可以通过线栅偏振器、双折射多层膜或cholesteric液晶 (CLC)。

以圆偏光为例，入射 RCP 光在区域 A 中，首先通过 BS（50%）并被反射偏振器反射。那么，就是BS 再次反射（25%），同时翻转到 LCP 状态。最后，LCP 光通过反射偏振器并进入区域 C。缺陷是只有 25% 的总能量传递到观察者一侧，此类VR系统显示屏的亮度需要很高，电量消耗快。

反射型偏光片和BS也可以根据设计要求弯曲。在这种情况下，BS（半反射器）涂在曲面上镜片表面。

(copied from “Virtual reality and augmented reality displays: advances and future perspectives”)

上述所有讨论只考虑了传统的几何光学,全息光学的提供了更多的光学元件选择。反射偏振片和BS都可以是平面全息薄膜。反射式偏振器可以通过图案化 CLC 分子获得聚焦能力。 CLC 的偏振选择性导致对一个旋性的圆偏振光产生作用，对另一个完全透明。 BS也可以用相位全息图代替。这样的相位全息图是通常通过光聚合物的全息曝光制造。

对于具有角度选择性的某个反射全息图，BS 效率可能会达到100%，因为传输和反射效率可以达到100%。 这意味着整个系统的效率可以

从 25% 提高到接近 100%。

(copied from “Virtual reality and augmented reality displays: advances and future perspectives”)

——禁止转载

——禁止转载

——禁止转载

从呈现形式上，AR系统可以分为光学透视型（optical see-through display）和视频透视型（video see-through display）。光学透视型通过图像组合器将虚拟信息直接叠加在真实的环境信息上；而视频透视型通过额外的相机实时采集外加环境信息，通过计算将虚拟信息和环境信息相结合，对计算量的需求高，滞后性导致安全性能较差。因此目前的对于AR光学系统的研究主要还是集中于光学透视型。AR与之前阐述的VR光学系统的区别主要是在于在虚拟成像的基础上，还会包含中继镜组（延长投影光路）和图像组合器（将虚拟信息与环境信息叠加）。

从图像组合器的形式来说，主要分为自由曲面型（Freeform Combiner）和光波导型（optical waveguide combiner）两类。1 自由曲面型自由曲面型或称为自由空间型中的自由主要是与光波导型相区分，光线不再局限于波导内部的空间。1.1 单个自由曲面半反射镜最开始的自由曲面型图像组合器就是简单的半透半反镜，其可以实现大FoV（高达 90°），然而有限的设计自由度会导致图像扭曲（pupil swim）。半反射镜还导致整个光学系统具有相对庞大的外形尺寸。

（copied from paper Augmented reality and virtual reality displays: emerging technologies and future perspectives）

1.2 自由曲面半反射镜+BS（Birdbath）在半透半反镜的基础上，发展出了将半透半反镜和分束器（beam splitter BS）结合的图像组合器，其在显示屏上有一个额外的光学元件侧，为像差校正提供空间。而且分束器的集成提供了一个折叠的光路，这在一定程度上降低了外形尺寸。

1.3 TIR （全内反射）棱镜上述两种从像差到规格来说与实际应用还有较大差距，更常见的一种设计基于自由形式的全内反射棱镜组合器，提供 54°的FoV 和出瞳直径8 毫米，所有的表面都有设计自由度，提供了一个相对出色的图像质量。然而其需要在TIR 棱镜添加相位补偿器消除对环境光影响，使图像组合器整体对于环境光来说为无焦系统。

1.4 Relay lens （中继镜组）为了释放观众眼前的空间，使AR光学系统整体更加符合人体工学，额外的中继光学镜组被用于形成中间图像。虽然此类设计提供了更多的光学表面像差校正，但额外的镜头也会增加系统重量和外形尺寸。

2 光波导型除自由曲面外，另一个研究热点是光波导型。归功于轻薄与外界光线的高穿透特性，光波导技术被认为是消费级AR眼镜的必选光学方案。光波导的传输特性，对于优化头戴的设计和美化外观有很大优势。通过波导传输，可以将显示屏和成像系统远离眼镜移到额头顶部或者侧面，这极大降低了光学系统对外界视线的阻挡，并且重量分布更符合人体工程学，从而改善了设备的佩戴体验。但光波导型的发展也受到一些必然的限制，比如光学效率相对较低，耦合进，耦合出和传输过程都会有损失。2.1 波导此处的波导与通信中常见的波导本质上相同，都是光在基板（几毫米或亚毫米级别）内部进行全内反射的过程。全内反射的两个条件：传输介质即波导材料需要具备比周围介质高的折射率(n1> n2)；光进入波导的入射角需要大于临界角θc。只有一部分角度的入射光能够在波导中传输，决定了AR眼镜的视场角(FOV)范围。此类AR系统的视场角FOV=acrsin（n2/n1）。要实现越大的视场角，就需要越高折射率的玻璃基底来实现。波导主要分为几何光波导和衍射光波导两类。不论是哪一种，都包括耦入元件和耦出元件。耦入元件，高效率使其能够充分利用显示屏发出的光；耦出元件，确保扩大和均匀的眼动范围。2.2 几何光波导耦合光进入波导的一般是一个反射面或者棱镜。在多轮全反射后光到达眼镜前方时，会遇到一个“半透半反”镜面阵列，这就是耦合光出波导的结构了，也就是几何光波导里的“光组合器”。几何光波导缺点是繁冗的制造工艺流程导致总体良率较低，不适宜大规模量产。

2.3 衍射光波导光耦合入(couple-in)和耦合出(couple-out)波导的过程通过平面的衍射光栅(Diffractive Grating)实现。主要分为光刻技术制造的表面浮雕光栅波导(Surface Relief Grating)；基于全息干涉技术制造的全息体光栅波导(Volumetric Holographic Grating)（全息光栅只是因为利用了类似于全息的原理来制造的，光栅本身并不能够全息成像）。由于全息光学元件投资高，量产困难，目前基于全息光栅的AR光学系统主要停留在实验室阶段。从消费级电子产品来说，更多的选用表面浮雕光栅。Surface-Relief-Gratings对于耦入光栅，透射式或者反射式对于耦出光栅，具有大倾斜角的反射式 SRG 是首选以抑制传输阶数。 此外，均匀的光线输出通常需要梯度效率分布。为了补偿光线强度的下降的输出耦合过程，可以通过改变局部光栅配置，如高度和占空比周期。表面浮雕光栅的入射光栅来说，对称的矩形光栅结构衍射到左边的光并不会被收集传播到眼睛里，相当于浪费了一半的光。采用倾斜光栅(slanted grating)或者三角形的闪耀光栅(blazed grating)，使得往眼睛方向衍射的光耦合效率达到最高。

（copied from paper Augmented reality and virtual reality displays: emerging technologies and future perspectives）——禁止转载——禁止转载——禁止转载

除了之前在4中提到的常见的自由曲面型和波导型，新技术的出现和发展也为AR/VR技术注入了新的活力。接下来将聚焦两类AR新技术，分别是超透镜/超表面（metalens/metasurface）和小孔成像（pin light system）。

Lee, Hong et al., Nat Commun. (2018) 和三星公司授权的专利CN107203043B中公开了将各向异性的几何相位超表面用于AR系统， 该超表面对不同方向的偏振光起不同的作用，对虚拟的信息进行成像，对真实的环境信息高透。

Nikolov et al.; 30 April 2021 Science Advance 中公开了将自由曲面超表面用于AR系统的图像组合器。自由曲面超表面是自由曲面光学和超表面光学的结合，其相位响应为自由曲面的相位与超表面的相位之和，自由曲面和超表面均用做成像和像差矫正。

除学术文章外，国内超透镜初创公司也在ARVR领域布局了超透镜和超表面相关的专利，在专利CN113835227A（补偿器及其制备方法、图像显示装置、显示设备）中公开了将超表面用于自由曲面型AR光学系统的图像组合器中的相位补偿器，相对于传统庞大的相位板，轻薄的超表面用于相位补偿使其整体对环境光来说为无焦系统。在专利CN113934005A（一种中继转向器、显示装置及近眼显示系统）中公开了将反射式超表面用于AR光学系统的中继转向镜组，相对于传统多片式的中继镜组，超表面做中继镜组，减少光学元器件数量，使AR系统整体更加轻薄，提高使用者的佩戴舒适度。

—禁止转载

—禁止转载

—禁止转载