像《头号玩家》一样触摸世界？微软新推4项VR技术

来源：微软研究院AI头条

最近，你的朋友圈是不是被科幻电影《头号玩家》刷屏啦？如果有一天，你也进入了那个虚拟的游戏宇宙中，你又想和虚拟物体怎么互动呢？为用户提供身临其境的触觉体验一直是虚拟现实领域最具挑战性的问题之一，也是各个研究团队研究的重点。

最近，微软研究团队公开了四个最新的虚拟现实研究成果：CLAW、Haptic Wheel、Haptic Links、Canetroller，它们能够更好地帮助用户 “触摸” 到虚拟场景中的物体，尽情感受虚拟世界的奇妙。

虽然 VR 和 AR 在过去 30 年里取得了巨大的进步——已经能够为用户提供梦幻般的视觉和 3D 音频世界，但当我们伸出手去触摸那些虚拟物体时，幻想就会瞬时破灭，用户触摸到的只有空气。

虚拟触觉难以实现有很多原因。看过电影的人都明白，眼睛和耳朵可以被每秒 24 帧的电影欺骗，但是触觉却很不同，它要更复杂。实现虚拟触感的一部分挑战来源于硬件。在实验室中，设计一个适合个人用户穿戴的手持式设备往往很困难，目前许多原型设备仅仅能够模拟特定的感觉，例如质地、温度或重量，这种设备往往缺乏吸引力。而更加复杂的机械技术则可能导致设备太昂贵，太大或太脆弱而无法出现在消费市场。

微软研究团队一直在探索如何利用现有技术在手持式 VR 控制器上模拟产生多种触觉感受，使用户能够触摸和抓住虚拟物体，感受指尖在物体表面的滑动。他们的梦想是让用户能与虚拟数字世界进行更自然、更多元的交互。

CLAW

CLAW 是微软研究团队开发的第一款新型多功能触觉控制器，通过使用单个电机，CLAW 将 VR 控制器的概念扩展至一款多功能触觉反馈工具。CLAW 有一个独特的机械臂，当用户手握手柄、手指转动时（如下图），这个机械臂能够模拟力反馈。

图 1：（左）CLAW 的配置和组件；（右）CLAW 模拟用户抓取物体并触摸虚拟物体表面

作为一个多功能控制器，CLAW 包含普通 VR 控制器的所有功能（拇指按钮和操纵杆、6DOF（Degree of Freedom）控制、食指触发器），以及为最常见的手部交互时启用的各种触觉渲染：抓取物体，触摸虚拟表面，以及接收力反馈。

CLAW 的独特之处还在于它能够通过感知用户的抓握情况和虚拟情境环境之间的差异来调整触觉渲染。当用户尝试握住虚拟物体时（如下图），该装置会在食指和拇指之间产生阻力，模拟出物体被握住的感觉。嵌在食指支架中的力传感器通过改变电机的反馈让用户 “感受” 物体的不同材料。

如果用户握住手柄并做出指向手势（如下图），那么 CLAW 会提供触摸感觉。手指尖朝向虚拟物体表面移动时，CLAW 会产生阻力，将手指推回并阻止手指穿透虚拟表面。此外，当食指沿着虚拟表面滑动时，安装在食指尖端下方的音圈会产生小振动来模仿物体的表面结构触感。

感知用户施加的力量也可以帮助用户与虚拟物体进行交互。例如在虚拟绘画程序中，程序可以通过感知用户的手的力度来调整画笔的力度。

Haptic Wheel

为了进一步模拟食指对虚拟物体的材料和表面摩擦的触觉体验，微软还开发了另一种新的触觉控制器——Haptic Wheel。Haptic Wheel 使用的驱动转轮通过上下移动来模拟手指与虚拟物体表面的触碰，并且通过旋转来模拟用户沿着虚拟表面滑动时产生的剪应力（shear forces）和滑动感。

当用户触摸虚拟物体表面时，转轮会上升并接触到指尖，然后开始旋转来模拟指尖与虚拟物体表面的摩擦。

图 2：(左）当用户将手指悬停在转轮的蓝色区域表面上方时，渲染引擎将合适的转轮表面移到手指下方；（中）当用户在虚拟环境中接近黑色区域边缘时，渲染引擎会转动转轮以使跟黑色边缘一样的材质接近手指；（右）在手指悬停在较小的黑色表面上时，渲染引擎会调整转轮的增益，以便正确模拟出手指接触两个边缘的感觉。

该设备的转轮是可替换的，可以包含各种物理触觉元素，以便在用户探索虚拟环境时为用户提供不同的感受。当用户探索虚拟环境时，渲染引擎会根据环境为手指传递适当的触觉感受。例如，在虚拟纸牌游戏中，当用户触摸卡片、扑克筹码或桌子时，该装置就会旋转转轮以在指尖下面呈现适当的纹理感受。当用户沿着表面滑动时，转轮会在手指下面旋转以产生剪应力和滑动感。

图 3：在不同虚拟环境中，Haptic Wheel 定制的包含不同触觉感受的转轮

Haptic Links

在触觉探索中，另一个难以解决的问题是如何模拟在 VR 或 AR 应用程序中使用双手的情况。 比如说双手拿着一个盒子感觉它的大小，或者使用双手在弓箭上感受到那种拉力。

图 4：模拟用户在虚拟环境中双手使用的工具

Haptic Links 由几种类型的连接器组成，这些连接器能够在两个手持式 VR 控制器之间提供不同的刚度感受。Haptic Links 可以动态地改变用户双手之间感受到的力量，以支持渲染各种双手使用的物体以及与人之间的交互，使控制器表现得就像一个双手使用的工具。它们可以约束控制器之间的特定自由度或运动方向，也可以设置在一定范围内的刚度，以模拟不同的摩擦、粘度或张力。通过这些方式，Haptic Links 使 VR 场景中的交互更加真实，给人以身临其境之感。

微软做了三个 Haptic Links 的原型设备。每种设计都各有折衷和优势，使其最适合某种特定应用。

Chain 原型设备（图 5 中）采用由球窝元件组成的高度铰接式链条。一根强力电缆穿过整个链条并连接到每端的推杆电机（linear actuators）上。通过推杆电机的运动来控制链条的松紧，进一步控制用户的操作空间。

图 5：Haptic Links 的 3 个不同原型设备

Layer-Hinge（图 5 左）使用球形接头来调节控制器的旋转，使用铰链来控制它们之间的距离。它的优点是能选择性锁定控制器运动时的自由度。此外，它可以相对精确地控制每个关节的摩擦力，使得该装置在铰链和球窝关节中模拟出连续的一定范围内的刚度值。

Ratchet-Hinge（图 5 右）在控制器底部使用类似的球形接头，但用双棘轮结构取代了铰链，能够独立制动向内或向外的运动。当两个棘轮啮合时，齿轮是固定的；两个棘轮都脱开时，齿轮可以自由旋转。当一个棘轮脱开时，齿轮可以在一个方向上自由移动，但不能沿相反方向移动。定向选择性功能可以实现独特的力反馈交互。

Haptic Links 可以改善虚拟环境中需要双手操作的物体的感知真实性，而不会过于影响两个控制器的正常交互。

Canetroller

“传统” 的虚拟现实体验本质上是强烈视觉化的，因此视觉受损者通常无法使用。微软研究院开发的 Canetroller 原型设备，则希望让视力受损人士在虚拟环境中也能够使用手杖进行导盲。

Canetroller 提供三种类型的反馈：（1）由可穿戴式、可编程制动器产生物理阻力——模拟虚拟手杖碰到虚拟物体；（2）振动触觉反馈——模拟手杖撞击物体或者划过各种表面时产生的振动; （3）3D 听觉反馈——模拟真实世界手杖发出的声音。

图 6：一位盲人正在使用 Canetroller

Canetroller 可以让低视力者和盲人在不同的虚拟空间中进行模拟导盲训练，减少他们在日常环境中的危险。微软希望这项工作能够激励研究人员和设计人员设计更有效的工具，使 VR 更具包容性，考虑到世界各地各种不同的群体。

微软研究团队在虚拟触觉方面的这些创新，一方面希望可以激发其它研究者的想象，另一方面也希望能为视障等特殊人群带来新的应用和希望，帮助他们改善生活质量。此外，研究人员还希望这些创新能够鼓励更多的消费产品使用触觉渲染技术。相信触觉产品很快就会让 VR 和 AR 产品更加逼真和身临其境。