”他伸出手。“任少卿。论文你们应该看过了。”
林之远握上去。这只手的主人，就是那篇让全球AI界炸锅的论文的第一作者。
比他想象中年轻得多，看着也就二十五六岁。
“看过了。复现过了。数据完全对得上。”
任少卿笑了一下：“那就好。省得我还要解释为什么152层能训练。”
楼梯口传来脚步声。一个身材偏瘦、穿着黑色连帽衫的男人走下来，手里端着一杯咖啡，眼睛下面有明显的黑眼圈。
“楼天城。”任少卿介绍道。“我们的系统架构负责人。昨晚应该又通宵了。”
楼天城点了点头，看了一眼林之远的胸牌：
“看资料，你在斯坦福做的是推荐算法方向？”
“对。博士论文写的是用深度学习做推荐系统。”
“那正好。”楼天城喝了口咖啡。
“我们现在在做一个东西，需要你这个方向的人。”
他转身走向白板，拿起马克笔，刷刷刷写了一串公式。
林之远凑过去看。
那是一个注意力权重的数学表达式。
所谓“注意力机制”，通俗地说，就是让AI在处理一段信息时，能像人类阅读一样，自动把目光聚焦在最重要的部分，而不是平均分配精力。
但这个公式和他在论文里见过的不一样。
传统的注意力机制，是让AI在翻译时“回头看”原文。
比如翻译一句英文时，每写一个中文词，都回头看看英文原句里哪个词最相关。
而白板上这个公式，做的事情完全不同：它让一句话里的每个词，都去“看”这句话里的其他所有词。
不是回头看别人，是自己看自己。
“你们在做……序列内部的自相关计算？”
林之远的声音不自觉地提高了。
任少卿和楼天城对视了一眼。
“差不多。”任少卿说。
“我们在探索一种全新的方式来让AI理解语言。不依赖传统的循环结构。就是那种必须一个词一个词按顺序处理的老方法，而是完全用注意力机制，让所有词同时互相‘看见’彼此。”
林之远的脑子嗡了一下。
不依赖循环结构？纯注意力？
这个想法太疯狂了。当前全世界做语言AI的人，没有一个敢把循环网络完全扔掉。注意力机制在所有已发表的论文里，都只是辅助模块，从来不是主角。
“你们怎么敢往这个方向想？”
任少卿推了
本章未完，请点击下一页继续阅读！