关于微软新一代HPU，你需要知道些什么

最近，由于比特币身价暴涨，“矿工”购入大量显卡用于“挖矿”，导致显卡价格上涨，英伟达、AMD显卡均缺货。

这大概又是一项脱离了设计者初衷的发明。

显卡的核心元件是GPU（图像处理单元），设计之初是为了渲染图形。在很久以前，一般被叫做图形加速卡。

但是在早期，GPU并不是什么核心组件，有点类似协处理器，属于有了更好，没有也不要紧的东西，一般只有那种高端的工作站和游戏机上才用得上。

然而到了今天，GPU的地位一路逆袭攀升，GPU的工作也不再局限于图形处理，由于其运算能力强，而越来越多的参与到各种运算当中来。

对比CPU，GPU干的活是那种没技术含量，但是工作量巨大，需要重复很多次的那种。

假如把GPU比喻成一群小学生用人海战术算加减乘除，那CPU就是一个掌握高等数学的教授。教授虽然厉害，但是在计算简单但是任务量大的情况下，有时候也顶不住人多。

CPU+GPU的模式，在PC时代被发扬光大，在移动智能设备上也是延续了下来。在AR/VR设备上，也是标准配置。但是，单纯的GPU+CPU真的能满足VR/AR的需求吗?

AR需要处理目标识别、定位、跟踪和建模等人工智能和计算机视觉问题，计算量大。尤其当多模态交互同时运行时，图像识别、语音、手势等计算需要大量运算资源，现有芯片可能不够。

GPU的计算能力确实很强，吞吐量巨大并且精度高。但是计算时间上实时性并不是很好，一个复杂的3D图形在AR/VR头显上渲染了很久，造成延迟过高，这个时候就很容易让人产生眩晕感。

并且GPU的功耗大，VR/AR设备带起来会很吃力。

Hololens的HPU

曾经有一期AR酱介绍过Hololens的拆解，其中有一个新奇的玩意——HPU（Holographic Processing Unit全息处理器），这是微软自己的发明的说法，是一款ASIC定制芯片。

根据微软公布的信息，HPU处理能力达到每秒1T（10^12）次像素运算，功耗却不到10W。HPU能够融合来自5个摄像头、一个深度传感器以及运动传感器的输入信息，将信息压缩并传送到主处理器。此外HPU还能实现AI手势识别。

微软找遍了各大厂商的商用芯片，却找不到合适的，于是就找台积电定制设计了电28nm工艺的芯片，不得不感叹微软钱真多。

HPU中具有24个Tensilica DSP内核，以及高达8MB的Cache，此外还包含加速器。

HPU相当于协处理器，当遇到计算机视觉的矩阵运算和神经网络的卷积运算时，协助主处理器（CPU和集成GPU）完成这些特定运算。并且HPU上集成的加速器也会协助主处理器完成各种运算。

和GPU有一点相似之处，HPU一样拥有很多计算核心

然而仔细观察可以发现，HPU上用于高速存储数据的Cache高达8M，这是普通GPU所没有的。在文章顶端的两张关于GPU和CPU的图片可以看到。

一般来说，CPU需要大量的cache来过滤过多内存的访问，减少访存的延迟，提升CPU的响应速度，但是GPU并不需要。

HPU上集成了8M的cache可以让HoloLens拥有比较小的延迟。

利用FPGA为DSP应用提供灵活的可重配置方案，Hololens则可以根据不同的应用场景来实现不同的DSP组合，满足不同的要求。如此可以让在限定的功率下，实现更好的性能表现。

在手势识别上，HoloLens虽然只有两个动作，但是识别精度很高。对于操作区范围内的识别，灵敏度、防误触、各种光线下的操作都能比较好的完成，在这方面少不了HPU的深度学习计算。

HPU上还有各种加速器，这些专用加速器可以帮助HPU快速执行一些算法（单靠DSP往往无法满足这些算法的性能需求），微软称，使用专用加速器配合DSP可以实现200倍以上的性能改善，效果可谓惊人。

新一代HPU

HoloLens第二代快要面世，这次据说将会搭载新一代的HPU，将会有巨大的提升。

微软研究工程师道格·伯格（Doug Burger）表示新版本 HPU 将使用人工智能（AI）协处理器，并使用深度神经网络技术来实现更有效的数据分析。

第一代中HPU的深度学习能力还展现的不明确，而在新版本中HPU却是作为了一个AI处理器的存在。

据称，全新的 AI 协处理器支持多层次运算，也可以按需定制。AI 协处理器能够持续运作，除了增加 HoloLens 的续航能力之外，还可以通过手部关节分区域分析，实现更复杂的手部追踪，并且能够在不发送样本至云端的情况下进行设备语音识别。

AI处理器的未来

在AR酱前几期的“AR与AI融合的未来”中我们便提到，要让AR真正看懂这个世界，深度学习是要有的，而传统GPU计算能力虽然很强大但是并不一定适合移动端。

所以可以看到，现在越来越多的厂商开始尝试定制芯片。

比如这款HPU就是一个博纳百家之长的芯片。设计者可以根据自己的需求定制需要的芯片，而不需要局限于为标准化服务的CPU和GPU。

在AI芯片领域，google已经入局，AlphaGo就是使用了google的第一代TPU芯片。

芯片大厂Nvidia、Intel也不甘落后，不过各自的侧重点不同。

未来AI/AR芯片可能会呈现出更多样的态势。

这款HPU说不定也会重演GPU当年的经历，由一个协处理器转正，逆袭成为必不可少的核心元件。

AR酱原创，转载务必注明

微信号AR酱（ARchan_TT）

AR酱官网：www.arjiang.com