微软亚洲研究院资深研究员梅涛：原来视频可以这么玩了！ | CCF-GAIR 2017

7月9日，由CCF主办，与香港中文大学承办的第二届 CCF-GAIR 全球人工智能与机器人峰会进入了第三天。在CV+专场首场，微软亚洲研究院资深研究员梅涛为大会带来了题为《Video Content 3C: Creation, Curation, Consumption》的分享，即视频的创造、处理和消费。

为什么要讲视频的内容，他提到如下几点。

一是视频跟图像相比更加深入，视频是To B的东西，但是研究视频是很大的挑战，有很大的荣誉；第二是大家看到视觉领域比如人脸、安防方面的进展，视频领域是比较崭新的东西。第三是他本人在十年前做视频方面的研究，所有人都说视频是下一个风口，今天看来这个说法也是对的。

要做视觉问题基本上分三个步骤：

第一，理解一个东西，比如说识别一个桌子，在这里要了解一些线条；第二，人为设计一些特征来描述；第三，设计一些分类器。

现在的深度学习的错误率在不断降低，image Classification从最早的8层到20多层，到现在能达到152层。

视频的创作、处理和消费：

creation

这里面有一个基本概念，Video的产生是先把Video切成一个一个的镜头，可以看成是一个一个断码，然后每一个镜头再编成一个故事，每几个语言可以放成一个故事。每一个镜头可以分成Sub-shots，然后有一个数据。

curation

有了Video之后要做的事情是给Video打标签，至今为止可以打上1000个的静态标签，有了这些静态标签就可以设置到内容里面去。

另外还可以分析动作，给你一个Video，能不能生成一句话来描述这个Video，以前我们说这个Video是一个舞蹈，现在可以告诉你这是一个什么舞蹈。可以实时产生字母，自动评价，例如微软小冰，你上传视频给小冰，它会夸赞你。小冰还可以写诗。

也可以将Video进行编辑，加上滤镜，或是做风格的转换，把自然的Video变得非常卡通。Video中的人物分割出来可以放到另外一个虚拟的场景里面去。你可以想象，当两个人在异地谈恋爱的时候，我们能够给他一个房间，让他们在房间里面进行聊天。

另外，也可以提供服务，让image、Video变得更好，这都是机器产生的效果。加上人工的处理，视频就可以变得更加时尚。

consumption

梅涛提到，做Video广告有两个问题需要解决：第一个问题是广告到底放在Video的什么位置；第二个问题是选什么样的广告，这个广告跟你插入点的信息是不是相关，使得用户接受度更加好。

他们的解决方案，将Video进行分解，做一系列的动作，从而符合广告商的需求或满足不同用户的需求。

最后梅涛总结到，在做科研的人看来，AI也好，深度学习也好，落地都有很长的路要走，我们要脚踏实地的一个一个的去实现。

更多详细的演讲内容参见后续报道。原创。