大学在远程评估学生方面一直面临着挑战。组织远程考试的实际困难引出了一些有趣的替代方案，例如开放书籍考试和基于研究的论文写作。如果学生查找书籍作为参考，提交的质量可能会提高。

这同样适用于人工智能。如果人工智能系统可以查找记忆库以供参考，而不是记住我们的语言，那么它的输出可能会更好。这就是DeepMind声称通过RETRO实现的目标。在教授人工智能进行围棋等自学游戏和预测复杂的蛋白质结构方面获得了信誉后，谷歌收购了人工智能公司DeepMind，试图掌握机器用来理解人类语言的自然语言处理。预先训练的语言模型通过预测响应中接下来应该出现的单词和句子来生成文本。

DeepMind的RETRO是一个模型，其性能通过外部资源得到增强——一个大约2万亿字的大量文本语料库。从正确的角度来看，这将需要175个人来完成一生的持续阅读。

当模型生成文本时，它会查找此外部资源以使其预测更准确。研究人员声称，这样的模型设计使得更容易理解人工智能如何推断和拾取信息。培训成本更低，使组织更容易获得培训。

鉴于我们复杂的语言，自然语言处理对于机器来说是一项艰巨的任务。数十亿美元的研究资金已经投入到语言模型中。

去年，OpenAI的语言模型GPT-3展示了计算机以复杂而有意义的句子进行响应的可能性。语言模型往往在狭窄的范围之外摇摇欲坠。GPT-3表明，如果一个语言模型足够大，它可以是通用的。参数或内部配置值的数量越多，模型的精度越高。其他大型组织已经开发了自己的大型模型，争先恐后创建更大更好的通才语言模型，加载数十亿个参数。

2021年底，NVIDIA和微软开发了Megatron-Turing NLG 530B模型，该模型在整个维基百科上以英语训练，6300万篇英语新闻文章，38GB的Reddit讨论，GitHub，Project Gutenberg的书籍等等。该模型具有高达5300亿个参数，经过全面训练以执行推理。值得注意的是，它比GPT-3的1750亿个参数改进了3倍，同时将其他大型语言模型远远抛在了后面。谷歌和北京人工智能研究院构建的模型超过一万亿个参数。

虽然大型语言模型正在流行，但它们对于训练以及为数字助理等下游AI应用程序提供服务方面变得过于繁琐。他们也是数据、计算能力和能量的吞噬者。研究人员总是被训练的例子数量不足所束缚。想象一下，试图训练这样一个模型来识别银行欺诈。给暗示新型欺诈的对话贴上标签需要花费很长时间。

人工智能研究团队正试图解决这个问题。DeepMind的RETRO就是这样一次尝试，只有70亿个参数。另一种方法是GPT-3成功演示的很少的学习，它使用一组非常小的标记示例来训练模型。这是变革性的，因为GPT-3可以用16个例子进行训练。

Meta（前身为Facebook）正在探索很少的学习，以便在其社交媒体平台上进行内容审核，这需要快速执行政策。随着有害内容的不断发展，Meta努力寻找足够的标记内容。它已经部署了一种新的AI模型，该模型首先在免费提供的通用大型文本语料库上进行训练。然后，根据之前标记的策略数据对其进行训练。最后，它对新政策的简明文本进行了培训。

它使用一个名为Entailment的新框架作为“简单学习者”。蕴涵涉及在句子之间建立逻辑结果。例如，如果“汽车超速行驶”，那么“汽车在行驶”也必须为真。简而言之，人工智能工具可以识别仇恨信息，因为它了解内容违反的政策。该工具用于快速检测和删除仇恨言论和疫苗怀疑帖子。

2021年是自然语言处理的标志性一年，因为各组织正在竞争更大更好的模型。书面文字在使人工智能对社会的价值空前重要。这场争夺自然语言模型霸权的竞赛会有终点线吗？不会很快。但人工智能肯定会变得更加智能，成为更好的，普通人更容易接近的助手。这些努力中的每一项都将成为推动进步的垫脚石，即使只是一点点。最终，我们可以期望使用一种更离散的智能机器，直到它发生故障，它才会被忽视，就像电力一样。