微软新XR研究成果（二）：除了注视点渲染，眼球追踪还能做什么

近年来，将VR与眼球追踪技术结合逐渐成为一种趋势，眼球追踪技术不仅可以作为VR的一种交互/输入方式，也可以与注视点渲染相结合，从而降低头显的功耗，提高渲染效率。或者，眼球追踪也可以用于优化自适应游戏AI、游戏新玩法、预测用户行为等。

除此之外眼球追踪还有其他用途吗？近期，在微软向ACM用户界面软件与技术研讨会提交的三篇论文中，就曾有一篇展示了眼球追踪在多种场景中偷换余光画面的能力，为该技术指明了新的应用方向。（上一篇参考：《不用透视功能，戴VR头显上街是什么感受》）

7种应用场景

据了解，微软在论文中指出了一种名为Mise-Unseen（向法语Mise en scène致敬，指的是场面调度，戏剧或电影制作的一种表现手法）的系统，主要用来改变你眼前的VR场景，比如利用注意力转移，将你在远处看到的物品悄悄转移到跟前，或者根据你的喜好来改变场景中的布局等等。

在电影中，场面调度指的是导演通过引导观众注意力的方式，让他们看不到场景中的镜头或照明装置，或者在观众视场角外改变场景。而在VR中，用户的视角由自己控制，是不可控的。而且随着VR头显视场角逐渐增大，可隐藏场景变化的区域就会更小，因此场景的改变只能在用户余光视觉悄悄进行。（视网膜中央凹视场角为5°，中央视场角约为30°）

微软研究院高级研究员Mar Gonzalez Franco表示：Mise-Unseen的概念来源于注视点与注意力之间的联系，因为通常你看哪里，你的注意力就在哪，同时也不会注意到其他地方。

因此，Mise-Unseen系统利用眼球追踪来识别用户的注视点，并结合显着度/视觉干扰等掩码技术，然后通过感知模型来建议场景中作出何种改变不会引起用户注意。比如，在虚拟画廊场景中，Mise-Unseen会通过注视点来分析你的喜好，并改变你余光部分其他油画的风格。

除此之外，Mise-Unseen甚至可以用来强化用户在VR中测试的准确性。比如说，在VR游戏中，你需要解开一个谜题来计算出密码，当然通常你可以通过不断试错来蒙对答案，甚至都不需要看谜题是什么。而加上Mise-Unseen技术后，如果你从来没有仔细看题，那么即使你蒙对了答案，谜题也会趁你不注意的时候悄悄实时改变，让你不得不根据题目来计算出答案。

当然Mise-Unseen也可以用于实现被动体感反馈、自适应难度，甚至优化过场动画来降低晕动症，以及降低优化成本、优化渲染效率等。

关于原理

不同应用使用不同模型

为了进一步演示Mise-Unseen的作用，科研人员开发了多种不同的应用，我们过一会详细讲解。这些应用会对场景进行多种不同的改变，而改变产生的时间则由Mise-Unseen系统来决定。

那么Mise-Unseen具体是怎样决策的呢？Mise-Unseen利用眼球追踪，将用户的注意力、意图/空间记忆等感知理论的不同领域制作成5个注意力模型，并通过这些模型来确定画面修改掩码的决策和时间，以此来减少用户预期、察觉或回想起来的情况。

它会根据注意力模型计算出应用中的变化引起用户注意的可能性。比如，Mise-Unseen会计算出每个应用中，每一帧中每个注意力模型的值，其中最高值作为被发现的可能性，当可能性低于预定阈值时，Mise-Unseen才会将变化注入场景中。

1）防止用户发现

那又是如何避免用户发现到改变呢？Mise-Unseen利用了4个模型搭配视觉掩码，其中第一个模型（测量当前注意力）基于一个简单的原理，即：注视点意外的虚拟目标不容易被察觉，然后再加上视觉干扰等掩码技术，进一步降低穿帮的可能性。不过当用户已经忙于另一件事的时候，也可以省去干扰。

而第二个和第三个模型分别通过瞳孔测量法和眼跳来测量认知负荷，这是实现非注意盲视（一种心理现象，指的是对于你不注意的事情，即使近在眼前也看不到）的一个必要条件。

第四个模型测量潜在的注意力，负责处理当人眼没有看某样东西却注意到改变的情况，这时候如果注视点即将靠近，可能会根据所剩时间选择终止或加速改变。

最终，科研人员实现场景改变的方式有四种：一种是在用户注视点以外悄悄变化；第二种是用更突出的干扰物去吸引用户注意力；第三种是通过渐进淡出和低对比度等视觉技术降低视觉信号强度；第四种是为用户提供干扰性任务，通过增加注意力负载来避免他们注意到周围的改变。

同时，用于干扰的掩码技术也可以替代注意力模型二或三。另外你可能会说，其实不需要注视点信息也能吸引用户注意力，但Mise-Unseen的作用是能够通过注视点信息来验证用户没有注意到改变，这样即使是更自然、更休闲的干扰动作也可以达到效果，而且更容易集成，甚至可能在场景中就已经存在。

2）避免用户回忆起

为了避免用户事后依靠回忆识别出场景改变，Mise-Unseen采用了第五个模型搭配场景建议的方式。据悉，第五个模型通过测量停留时间来计算空间记忆，旨在防止用户通过视觉记忆在事后对比时发现改变。

为了看起来更直观，科研人员使用了加权定向图来代表用户的空间记忆，其中包含的信息包括相关目标之间的空间和角距离。

而Mise-Unseen避免用户回忆起的具体方法是，通过为与改变无关的目标推荐新的定位和旋转。比如，无关目标与得到改变的目标一起移动，从而降低前后差异，以及对空间记忆的破坏，进而降低用户察觉的可能性。

3）避免用户预料到

为了避免用户预料到本该不易察觉的改变，Mise-Unseen会采用随机的形式触发变化，或者通过眼球追踪推断出用户对场景的理解和意图，进而在用户行动之前就做出改变。

那么用户意图又是如何推断的呢？Mise-Unseen会通过测量注视点在目标上的停留时间并设定阈值，而且除了推断意图外，也可以通过将用户呈现的注视点规律与预定义的扫视轨迹进行对比，来验证用户对于某项内容的理解。

7种应用场景

据了解，微软这篇论文的主要目标是展示在用户眼前、注视点外围做改变而不被发现是可行的，并且列举了7种可应用的不同场景，包括：

1，识别用户选项，在缺少实体道具时，实现被动体感；2，在空间有限时维护持续的移动；3，降低在VR中移动产生的晕动症；4，隐藏根据用户而改变的自适应任务难度；5，自适应用户偏好；6，在情节进展中验证用户是否理解；7，控制低保真特效出现时间。

为了展示上述7个场景，科研人员分别开发了相应的7个应用：

1，铁匠铺——展现被动体感：在这个应用中，Mise-Unseen会根据用户注视点来推断接下来想要选择的武器，并且当桌子上这个武器处于注视点外围时，将它移动到真实环境中对应道具的位置，这样即使你只有一个体感道具，也可以让用户在VR中不管选哪个武器都能抓到它。

2，货厢——展现自由行走：这个应用的作用与铁匠铺相似，但它不是将武器与道具重叠，而是将两个轨迹中的一个与真实环境重叠。当然，靠空间压缩技术就已经可以让VR空间适应物理空间，甚至改变注视点以外的盲区，而且预测用户行走方向也不是新的概念。而这个应用的不同之处在于，其展示了眼球追踪可以让自由行走的体验感更自然，甚至减少对于VR画面的利用率。除了眼球追踪外，电话铃等干扰也是必须要的。

3，城市飞行穿梭——展现过场动画、360°视频、虚拟移动：这个应用展现了从高楼飞下来的过场动画，与通常用来遮挡余光视觉的黑色掩码不同，这里通过将余光视觉刷新率降低至1Hz来减少余光看到的动作，并且将注视点和余光的渲染画面融合。而这一效果是通过插帧、注视点边缘羽化加上动态模糊来实现的。

效果类似于注视点渲染，区别在于它并没有降低像素分辨率而是降低了时间分辨率，并且采用插帧而不是插像素的原理。

4，拼图——展现自适应难度：这个应用旨在帮助用户完成任务，通过使用视觉干扰，加上余光视觉变化，将正确的拼图移动到用户眼前，同时确保用户完成任务的满足感不会减少。

5，画廊——展现自适应内容：这个应用会通过眼球追踪信息来猜测用户的喜好，比如你第一眼将目光停留在现代艺术品上，那么Mise-Unseen便会悄悄将余光部分的印象派艺术品变成现代风格。

6，谜题破译——验证用户真实选择/情节进度：这个应用旨在防止用户通过反复试错来作弊，当Mise-Unseen通过注视点识别推断出你没有审题而是直接输入答案的时候，便会在题目位于你余光的时候悄悄改变。这可以用于冒险游戏中，促进你去理解故事进度和叙事，也可以用于培训或教育。

7，汽车爆炸——展现对开发成本的优化：注视点渲染可以节省计算成本，而这个应用甚至可以降低开发成本，好让开发者将更多资源用于优化其他更重要的内容。为了避免用户注意到低保真渲染的汽车爆炸效果，Mise-Unseen会通过叙事等方法来引导用户注意力。

验证实验

为了验证Mise-Unseen系统的效果，微软科研人员找来15个人进行体验，其中有12人曾体验过VR，5人曾体验过眼球追踪，还有8人曾观看过魔术。此外，实验中使用的设备包括:HTC Vive Pro头显、基站、追踪器以及PupilLabs的眼球追踪模块（刷新率200Hz，延时4.5ms）。

实验结果发现，注视点数据确实有助于掩盖视场角内画面的改变，当画面涉及任务和移动的干扰时，识别率（正确识别画面改变的比例）会大幅降低，总之将注视点数据与越复杂的掩码技术结合，变化越难以识别。

另外，还调查了参与者对于每个应用的趣味性（按照利开特式量表从1到7打分）的看法，认为其中拼图、谜题破译、画廊、铁匠铺和城市飞行比较有趣。

总之，Mise-Unseen启发了眼球追踪的更多场景。当然除了眼球追踪，Mise-Unseen也可以结合其他数据来分析用户注意力，比如视频处理过程中提供的显著图、脑机接口信号（EEG等）等。也可以增强视觉掩码技术，比如在技术层面上，可通过诱导用户眨眼来触发不易察觉的快速变化。