如果说现代人工智能有一份创始文件或者一篇圣典，那一定就是谷歌2017年发布的研究论文《你需要的只是Attention》（Attention Is All You Need）。
这篇论文介绍了一种被称为“transformer"的新型深度学习架构，并在过去五年里彻底改变了人工智能领域。
Transformer是当今占主导地位的人工智能架构，它与2016年科幻电影《降临》（Arrival）中的外星语言有着有趣的相似之处。图片来源：PARAMOUNT PICTURES
目前席卷全球的人工智能热潮都可以直接追溯到transformer的发明。今天出现在头条新闻中的每个主要AI模型和产品——ChatGPT、GPT-4、Midjourney、Stable Diffusion、GitHub Copilot等等——都是使用transformer构建的。
Transformer具有显著的通用性：虽然它们最初是专为语言翻译而开发的，但它们现在也在推动计算机视觉、机器人学、计算生物学等领域的技术发展。
简而言之，transformer代表了当今人工智能技术无可争议的黄金标准。
但没有一种技术能永远占据主导地位。
在transformer的影响力达到顶峰之际，思考接下来会发生什么似乎有些奇怪。但是，在瞬息万变的人工智能世界里，在未来变得显而易见之前，设法“洞察先机”并一窥究竟，既令人着迷，又大有裨益。
本着这种精神，让我们斗胆一问：
什么会取代transformer？
Transformer 101
为了探讨这个问题，我们必须首先更深入地了解transformer。
现已成为经典的那篇关于transformer论文是由八位研究人员于2017年在谷歌共同完成的：他们是艾丹·戈麦斯（Aidan Gomez）、利昂·琼斯（Llion Jones）、卢卡斯·凯泽（Lukasz Kaiser）、尼基·帕马尔（Niki Parmar）、伊利亚·波罗苏欣（Illia Polosukhin）、诺姆·沙泽尔（Noam Shazeer）、雅各布·乌斯科雷特（Jakob Uszkoreit）和阿希什·瓦斯瓦尼（Ashish Vaswani）。
关于这篇论文，一个经常被忽视的事实是，所有8位作者都被列为共同撰稿人，排名不分先后，也就是说，他们的名字出现在论文上的顺序是随机决定的，没有任何意义。话虽如此，人们普遍认为乌斯科雷特为transformer这个概念提供了最初的智力引擎，而瓦斯瓦尼和沙泽尔则是自始至终最深入参与这项工作各个方面的两位作者。
这8位作者都因为他们对这篇论文的参与而成为了人工智能领域的杰出人物。如今，他们都不在谷歌工作了，但他们后来各自或共同创办了许多当今最重要的人工智能初创公司，包括Cohere、Character.ai、Adept、Inceptive、Essential AI 和 Sakana AI。
