时间:2020-02-13 来源:互联网 浏览量:
这个新的AI语言模型名为“图灵自然语言生成(Turing Natural language Generation)”,也即Turing-NLG。为什么说它的规模比其他同类型的模型都要大呢?首先,Google的BERT模型拥有3亿4千万组参数; OpenAI的GPT-2拥有15亿组参数; 皮衣刀侠老黄家的Megatron-LM有83亿组,而微软这个Turing-NLG,则拥有170亿组参数,是目前最大的模型的两倍!
那么这个AI可以干些什么呢?简单来说就是当你把一小段文字,Turing-NLG可以顺着这段文字写出一些像是由人类写成的句子,而且是与这段文字相关的,并不是杂乱无章的语句。
微软的科学家Corby Rosset表示:“微软正在推出Turing-NLG,这是有史以来最大的模型,总参数为170亿,在各种语言建模测试中均表现比目前最坐的同类模式优秀,并且当用在概括以及回答问题在内等多项实际任务中也表现出色。”
就如其前辈一样,Turing-NLG的170亿组参数是由变形器(transformer)构建而成的,这种变形器是一种用以处理输入文字后,配合上文下理并且输出单词的AI架构。
对于机器来说,要生成像人类对话或有意义的文本是困难的,因为要做到这点就先必须要理解上文下班理,不然只会产出一堆「每个字都看得懂但组合在一起就看不懂」的句子。因此AI必须可以接受关于思路这方面的训练才有机会做到这点。
而Turing-NLG的弱来则代表了AI在这方面又迈进了一步。或许在不久的将来,笔者可以把文章写个开头,然后剩下的就由AI去发挥了(笑)。
有关这个新AI的详细介绍可以在这里查看。