HoloLens 2开发入门精要:基于Unity和MRTK
上QQ阅读APP看书,第一时间看更新

1.2 HoloLens 2设备

HoloLens 2设备从HoloLens 1发展而来,是一台可穿戴的一体式全息计算设备,如图1-2所示,它具有当前业内最好的光波导显示组件,拥有独立的计算单元,可进行实时手势、语音、感知环境、运动跟踪、眼动跟踪等解算。HoloLens 2设备是一台完整的全息混合现实设备,无须依赖任何外部软硬件就能完成所有混合现实计算和展示。HoloLens 2设备也是一个混合现实平台,运行Windows 10全息操作系统(Windows 10 Holographic System),拥有所有UWP(Universal Windows Platform,通用Windows平台)特性支持。

图1-2 HoloLens 2设备

HoloLens 2作为一款完备的混合现实设备,搭载了大量传感器、计算单元,提供了优秀的沉浸式体验,其基本性能参数如表1-1所示。

表1-1 HoloLens 2设备的基本性能参数

1. 计算性能

HoloLens 2设备配备高通骁龙850(Snapdragon 850)计算平台,这是一个时钟频率为2.96GHz、64位、10nm的高性能低功耗处理平台,强大的计算性能保证了MR应用苛刻的时延要求,奠定了整个设备的计算基础。

HoloLens 2设备还配备了一块专用的HPU(Holographic Processing Unit,全息处理单元),该处理器共有13个计算单元,主要负责6DoF运动跟踪、眼动跟踪、手势跟踪、3D音效、环境感知和空间映射、场景理解、全息稳定性等计算处理。HPU专用处理器的出现极大地减轻了CPU的计算压力,并提供了更好的精度和功耗表现。

2. 光波导显示

HoloLens 2光波导显示模组将视场角提升到52°,在提供了更大视野空间的同时保持了每度47像素的分辨率,画质更锐利。HoloLens 2波导镜片由3层精减到2层,对环境光的通透性更好,提升了MR体验。

3. 深度感知

HoloLens 2设备配备了ToF(Time of Flight,飞行时间)深度传感器,提供了直接获取场景深度信息的能力,因此能够高效感知外部环境,并且配合AI算法提高了场景表面几何网格的完整性。

4. 环境理解

第二代HPU内置了神经网络,在通过ToF获取场景表面几何网格信息后,通过构建的深度地图与运动跟踪便可智能地识别场景对象,如地板、顶棚、桌面等,场景理解能力对提高MR应用的智能性有至关重要的影响

5. 手势识别

HoloLens 2设备有非常优秀的手势跟踪和识别能力,这主要得益于HPU神经网络。为了降低功耗,HoloLens 2设备时刻保持一个粗粒度的神经网络处于运行状态,在检测到手势时会启动另一个高精度的神经网络跟踪和识别手势,不仅降低了功耗也不损失精度。由于第二代HPU的强大能力,HoloLens 2设备完全摆脱了一代设备只有两种手势的困局,允许使用者以更自然的方式进行虚实本能交互。

6. 眼动跟踪

HoloLens 2设备由两个向内的红外图像传感器负责虹膜识别与眼动跟踪,这两个传感器不仅可以自动测量双眼瞳间距,还能实时地跟踪双眼的凝视方向,这为远距离的凝视交互打下了基础,也提供了除手势和语音之外的第3种虚实交互方式。

7. 话筒与空间音效

HoloLens 2设备配备了3个前向环境音采集话筒、2个用户语音采集话筒,通过这5个话筒阵列,HoloLens 2设备能在90dB的环境里正确地识别用户语音。HoloLens 2设备还配备了空间音效微音响系统,能正确地输出空间3D音效。

提示

HoloLens 2设备是一台MR混合现实眼镜,也是一个MR混合现实平台,它提供了最基础的硬件管理和软件功能支持,但与ARKit或者ARCore等SDK(Software Development Kit,软件开发工具包)不同的是其并不提供现成的功能特性实现,如2D图像和3D物体识别跟踪,HoloLens 2设备本身并不直接提供该功能特性的支持,但开发者可以通过算法实现这些功能,HoloLens 2设备提供了对运动跟踪和图像采集的基本功能支持。