LaMDA：我们的突破性对话技术

在Google，我们一直对语言情有独钟。早期，我们致力于翻译网络内容。最近，我们发明了机器学习技术，帮助我们更好地理解搜索查询的意图。随着时间的推移，我们在这些领域的进展使得组织和访问书面和口头信息变得越来越容易。但语言的复杂性和适应性意味着我们还有很大的改进空间。

LaMDA的诞生

LaMDA（对话应用的语言模型）是我们最新的研究突破，它为对话这一难题增添了新的元素。对话通常围绕特定主题展开，但其开放性意味着它们可以从一个地方开始，最终到达完全不同的地方。例如，与朋友谈论一部电视剧可能会演变为关于该剧拍摄国家的讨论，最后再讨论该国的最佳地方美食。这种游走的特性常常让现代对话代理（通常称为聊天机器人）感到困惑，因为它们往往遵循狭窄的预定义路径。

LaMDA能够以自由流动的方式进行关于似乎无穷无尽的主题的对话，这种能力有望解锁更自然的技术互动方式，并创造全新的有用应用类别。

LaMDA的训练过程

LaMDA的对话能力经过多年的发展。与许多最近的语言模型（如BERT和GPT-3）一样，它基于Google Research在2017年发明并开源的Transformer神经网络架构。该架构生成的模型可以训练来阅读许多单词（例如一个句子或段落），关注这些单词之间的关系，然后预测接下来可能出现的单词。

与大多数其他语言模型不同，LaMDA专门针对对话进行训练。在训练过程中，它掌握了将开放式对话与其他语言形式区分开来的几个细微差别。其中之一是“合理性”。基本上：在给定的对话上下文中，回应是否合乎逻辑？例如，如果有人说：“我刚开始上吉他课。”你可能会期待另一个人回应：“太令人兴奋了！我妈妈有一把她喜欢弹的老式马丁吉他。”这样的回应在初始陈述的基础上是合理的。

责任优先

这些早期结果令人鼓舞，我们期待很快分享更多，但合理性和具体性并不是我们在像LaMDA这样的模型中寻找的唯一特质。我们还在探索“趣味性”等维度，通过评估回应是否具有洞察力、意外性或机智来进行评估。作为Google，我们也非常关心事实性（即LaMDA是否坚持事实，这是语言模型常常面临的挑战），并正在研究确保LaMDA的回应不仅引人入胜而且正确的方法。

在创建像LaMDA这样的技术时，我们最重要的问题是它们是否遵循我们的AI原则。语言可能是人类最伟大的工具之一，但像所有工具一样，它也可能被误用。经过多年的研究和开发，我们对机器学习模型所涉及的问题（如不公平偏见）非常熟悉。因此，我们构建并开源资源，供研究人员分析模型及其训练数据；我们在LaMDA的每一步开发中进行了严格审查；并且我们将继续这样做，以便将对话能力融入更多产品中。

结论

LaMDA的开发标志着对话技术的重大进步，尽管我们仍在探索其潜力，但我们相信它将为人机交互带来新的可能性。想要了解更多关于LaMDA的信息吗？请访问。