世界上最好的人工智能（AI）系统可以通过困难考试，写出煞有介事的小论文，还能与人流利交谈，在很多人看来足以以假乱真。它们还有什么做不到的？——它们解不了简单的图形谜题。

在一项基于彩色图块的测试中，大多数人类都能识别出其中的模式。但根据今年5月发表的一篇论文^[1]，GPT-4——聊天机器人ChatGPT和搜索引擎Bing背后的最新版AI系统——在其中一类模式中只识别出了将近三分之一，在另一类模式中甚至只有3%。

提出这套逻辑题的团队的目的是能更好地评估AI系统的能力——以及帮助解决GPT-4这类大型语言模型（LLM）的一个难题。用某些方式测试，这些模型能轻松通过以前被认为是里程碑式成就的测试；换一种方法测试的话，它们就看起来没那么出彩了，会暴露出明显的弱项，并且也没法进行抽象概念的推理。

“AI领域的人们正在费尽心力研究这些系统如何评估。”圣菲研究所的计算机科学家Melanie Mitchell说。正是他的团队制作了这套逻辑谜题（见“击败机器的抽象思考测试”）。

在过去的2-3年里，LLM已经在泛用性上碾压了之前的AI系统。它们的原理很简单，就是根据输入的文字生成最可能的下一个单词，依据的则是用以训练的上亿句网络文本中单词之间的统计相关性。对基于LLM建造的聊天机器人来说，还有一个要素：人类训练员为这些机器人该如何回话提供了详尽的反馈。

使用大量人类语言进行训练之后，这种“自动填充”式算法就显现出了惊人的泛用性。其他AI系统可能会在某一项任务上击败LLM，但它们必须使用先用问题相关的数据进行训练，并且没办法从一项任务中举一反三推广到另一项上。

大体上说，研究者对LLM台面之下发生了什么有两种截然不同的看法，哈佛大学的认知科学家Tomer Ullman说。一部分人将算法的成功归因于出现了一点点推导或理解能力。另一些人（包括他自己和Mitchell等人）则更为谨慎。

“争论各方都是很聪明的人。”Ullman说。他说，之所以意见有分歧，是因为哪一方都没有决定性的证据。“我们没有某种盖革计数器，指一下就能说‘哔哔哔——有智能’。”

双方的研究员都认为，像这种能显示出人类与AI能力区别的逻辑测试是正确的方向。这种评价标准也可以用来说明今天的机器学习系统里缺了什么，由此细分人类智慧的组成，纽约大学的认知计算科学家Brenden Lake说。

有关如何测试LLM、以及测试能说明什么问题的研究，同样有着实用意义。如果要让LLM能在现实世界领域——从医学到法律——中应用的话，理解它们的能力限制就非常重要，Mitchell说：“我们必须理解它们能做什么，不能做什么，这样我们才能安全地使用它们。”

但是用语言来测试机器是否能思考的想法延续了下来。在之前几十年里，商业家兼慈善家Hugh Loebner出资举办了每年一度的图灵测试大奖赛，被称为Loebner奖。人类裁判会和机器与人进行对话，并尝试猜出来谁是谁。但该大奖赛到2019年就停办了，因为Loebner本人去世了，不再有资金举办比赛，英国人工智能和行为模拟学会的计算机科学家Rob Wortham说。该组织自2014年起代表Loebner举办竞赛。他说LLM现在在这类比赛中会有很高概率骗过人类。LLM兴起在赛事停办后不久则纯属巧合。

其他研究者们也同意，GPT-4和其他LLM现在可能能通过大众所知的那个版本的图灵测试，也就是它们可以骗过许多人类，至少当对话短的时候没问题。五月，以色列公司AI21实验室的研究者们报告说超过150万人玩过了他们基于图灵测试写出来的在线游戏。玩家被分配聊两分钟，对方可能是其他玩家，也可能是被研究者设置来模仿人的LLM聊天机器人。玩家正确识别出机器人的比率只有60%，研究者说这比盲猜没好多少^[3]。

不过在这种游戏里，熟悉LLM的研究者们可能还是能赢。Chollet说他识别LLM很轻松——只要利用已知的系统弱点就可以。“如果你让我在这种情境里，问我‘在和LLM说话吗？’，那我肯定能说得上来。”Chollet说。

他说，关键是要让LLM脱离舒适区。他建议给LLM提一些和训练集中常见场景相似的变体。很多时候，LLM会参照训练集中的原始场景给出回答，而不是符合新场景的正确回答。

不过，Chollet等人怀疑用骗人测试作为计算机科学的目标并不合适。“这全部都是为了骗过陪审团。”Chollet说。这项测试会让聊天机器人的开发者把精力花在让AI玩把戏上，而不是开发一些有用或有趣的能力。

“很多语言模型在这些考试题上能做得很好，”Mitchell说，“但通常结论并不是它们在这些通用能力上超过了人类，而是试题有限。”研究者们提到的一个难题是，训练模型用的文本太多，它们可能已经在训练集里见过了类似的题目，因此实际上AI可能只是查了小抄。这个问题被称为数据污染。

OpenAI说它检查了问题和训练集中相似的词组，排除了这一点。从LLM中移除相似的词组后，它的表现没什么变化，也就是说其成功不能大部分归于数据污染。但是，有些研究者质疑这种检测够不够严格。

纽约大学的语言技术学家，同时也在AI公司Anthropic任职的Sam Bowman提醒说，不要把GPT-4的能力完全视作死记硬背而忽视了它的能力。数据污染“让问题复杂了一点，但我不认为这影响到问题本质。

研究者们还注意到，LLM的成绩不够稳定，会做题不一定能做事。Mitchell说，稍微改一下考题就能让它们答错。例如，她从企业管理硕士生的考卷中拿了一道题目，稍微改了改说法。能做对原题的人类应该能答出改后的版本。但ChatGPT没答出来。

有关考试分数的意义还有一个更严重的问题。对人类来说，考高分可以可靠地证明智力水平——这词的含义有点模糊，不过其中一个意思是能在一系列任务中表现出色、并适应不同环境的能力。也就是说，考试考得好的人通常也能在其他认知测试中表现不错，也可以掌握某些抽象概念。但对LLM来说情况不是这样，Mitchell说；这些考试成绩和人类的情况截然不同。“用推断人类的方式去推断AI系统，往往不太行。”她说。

这可能是因为LLM只通过语言来学习；它没有现实世界中的身体，也无法像人一样体会到语言和事物、性质和感情之间的联系。“很显然，它们不是用人的方式来理解单词的。”Lake说。在他看来，LLM现在展现出来的是“流利的语言能力，但没有真正的理解力。”

往好的方面讲，LLM也有人类没有的能力——例如它能知道人类写过的几乎每个词之间的关联。这可能能让模型根据语言中的“怪癖”或是其他提示来解决问题，而不需要特意举一反三来扩展能力范围，Mitchell说。

OpenAI的研究员Nick Ryder也同意，（AI）在一项考试上得高分可能不像人类得分那样具有推广意义。“我觉得人们看到人类和LLM考试成绩后，不能简单地同等评估。”他说。OpenAI的分数“不意味着像人类一样的能力或类似人类的思考。它是用来说明模型在该任务上表现如何的。”

除了传统给机器设计的考题和人类考试以外，研究者们还对LLM作了更广泛的探索。3月，微软研究院的Sébastien Bubeck和同事们发表的《通用人工智能的火花：对GPT-4的初步实验》^[5]预印本论文引发了热潮。他们记录了一系列令人惊讶的能力——很多都没有直接或明显地和语言相关。一项重大进展是它能通过心理学家用来测试心智理论的测试，这是让人类能预测并推理其他人精神状态的核心人类能力。文章中说，“考虑到GPT-4能力的广度和深度，我们认为它可以视为早期（但尚不完备）版本的通用人工智能（AGI）系统。”

但是，Bubeck也向《自然》澄清，“GPT-4明显没有像人一样思考，无论它展现出了何种能力，都是以它自己的方式做到的。”

虽然说得惊人，但这篇文章对LLM的能力的评估不够系统性，Mitchell说：“这更像人类学。”Ullman说要想说服人机器有心智理论，他就必须要看到对应人类心智理论的潜在认知过程证据，而不只是机器的输出和人类的答案一样。

要搞清楚LLM的长处和短处，就需要更全面更严格的评估，AI研究者说。这套彩色的逻辑谜题可能就是其中一项。

Bowman提到了其他实验，他认为那些实验综合起来理解，能说明LLM获得了至少是初步的抽象推理能力。一个例子是哈佛大学的计算机科学家Kenneth Li和他的同事做的，使用了一套电子版的黑白棋。两个玩家轮流在8*8的棋盘上下黑棋和白棋。他们的目的是检测LLM是不是基于记忆中语言的表面统计规律来生成文字，还是有可能和人类一样构建了对世界的内蕴解释。

当他们使用玩家的棋谱训练LLM之后，模型变得更擅长生成合法的走子位置了。研究者们认为他们有了证据证明LLM有在记录盘面的状态——并且它是用这个表征来走下一步，而不仅仅是根据文字^[9]。

Bowman承认，LLM的推理能力总体上说还是“有好有坏”，比人类受限很多——但他说推理能力已经存在了，并且随着模型大小而增长，因此他认为未来的LLM可能会更好。“这些系统明显还远没有我们想要的那么可靠或泛用，也可能有些抽象推理能力它们还完全不行。”他说，“但我觉得基础能力已经存在了。”

Bowman、Mitchell和其他人都同意的一件事是，测试LLM的抽象推理能力和其他智力形式的最好方案还是个未解决的空白。斯坦福大学的认知科学家Michael Frank认为不会有一套全方位的测试来替代图灵测试。“没有什么界河，没有单线图。”他说。相反，研究者们会需要很多测试来量化不同系统的强项和弱项。“这些AI很棒，但它们出问题的情况也非常非常多，系统性地检验绝对重要。”他说。

Wortham建议任何想要尝试理解AI系统的人：避开“拟人诅咒”。“我们会把所有看起来有智力的东西拟人化。”他说。

“这是个诅咒，因为我们没法想象任何表现出目的导向行为的东西，只能拿人类当模板。”他说，“而我们会想象说，它们这么做是因为它们在底层思考上和我们一样。”