研究人员开发了一种名为“组合性元学习”(MLC)的技术，可以增强人工智能系统进行“组合泛化”的能力。这种能力使人类能够将概念联系和组合起来，几十年来一直是人工智能领域争论的话题。通过独特的学习过程，MLC在实验中表现出与人类相当，有时甚至超过人类的能力。这一突破表明，传统的神经网络确实可以被训练成模仿人类的系统泛化。

研究显示了“作曲”的新前景最终泛化”

人类天生懂得如何将概念联系起来;一旦他们学会了“跳”的概念，他们就会立刻理解“绕着房间跳两圈”或“举手跳”的含义。

但是机器有这种思维能力吗?20世纪80年代末，哲学家和认知科学家Jerry Fodor和Zenon Pylyshyn提出，人工神经网络——驱动人工智能和机器学习的引擎——无法建立这些联系，即所谓的“组合泛化”。然而，在此后的几十年里，科学家们一直在研究将这种能力灌输到神经网络和相关技术中的方法，但取得了不同的成功，从而使这个长达数十年的争论继续下去。

突破技巧:我作曲学习

纽约大学和西班牙庞培法布拉大学的研究人员现在已经开发出一种技术，该技术在《自然》杂志上发表了报道，该技术提高了ChatGPT等工具进行组合归纳的能力。这种技术，即组合性元学习(MLC)，超越了现有的方法，在某些情况下甚至比人类的表现更好。MLC的核心是训练神经网络——驱动ChatGPT以及语音识别和自然语言处理相关技术的引擎——通过实践来更好地进行构图泛化。

现有系统的开发人员，包括大型语言模型，都希望组合泛化能够从标准的训练方法中出现，或者已经开发了特殊用途的架构来实现这些能力。作者指出，相比之下，《MLC》展示了如何明确地练习这些技能，从而让这些系统解锁新的力量。

“35年来，认知科学、人工智能、语言学和哲学领域的研究人员一直在争论神经网络是否能实现类似人类的系统泛化，”纽约大学数据科学和心理学系助理教授、该论文的作者之一布伦登·莱克(Brenden Lake)说。“我们已经首次证明，一个通用的神经网络可以模仿或超越人类的系统泛化，进行面对面的比较。”

MLC如何运作

为了探索在神经网络中加强作文学习的可能性，研究人员创建了MLC，这是一种新颖的学习过程，在这种过程中，神经网络不断更新以提高其技能。在一个情节中，MLC接收到一个新词，并被要求组合使用它——例如，取单词“jump”，然后创建新的单词组合，例如“jump两次”或“jump around right两次”。然后，MLC接收到一个新集，其中包含一个不同的单词，以此类推，每次都能提高网络的合成技能。

测试技术

为了测试MLC的有效性，纽约大学“思想、大脑和机器计划”的联合主任Lake和庞培法布拉大学翻译和语言科学系教授、加泰罗尼亚研究所的研究员Marco Baroni进行了一系列与MLC执行的任务相同的人类参与者实验。

此外，除了学习人类已经知道的实际单词的含义之外，它们还必须学习研究人员定义的无意义术语的含义(例如，“zup”和“dax”)，并知道如何以不同的方式应用它们。MLC的表现和人类参与者一样好，在某些情况下，甚至比人类参与者更好。MLC和人们的表现也优于ChatGPT和GPT-4，后者尽管具有惊人的一般能力，但在这项学习任务中表现出困难。

庞培法布拉大学计算语言学和语言学理论研究小组的成员Baroni说:“像ChatGPT这样的大型语言模型仍然在努力实现组合泛化，尽管近年来它们已经有所改善。”“但我们认为MLC可以进一步提高大型语言模型的合成技能。”

参考文献:Brenden M. Lake和Marco Baroni撰写的“通过元学习神经网络的类人系统泛化”，2023年10月25日，Nature。DOI: 10.1038 / s41586 - 023 - 06668 - 3