他对人工智能的梦想从来都不仅仅是制作一个击败特级大师的国际象棋引擎或一个试图破坏婚姻的聊天机器人。它一直是我们自己的智慧的一面镜子，这样我们就可以更好地了解自己。研究人员不仅寻求人工智能，还寻求通用人工智能 （AGI），即具有类似人类适应性和创造力的系统。
本文引用地址：
大型语言模型获得的问题解决能力比大多数研究人员预期的要强。但他们仍然会犯愚蠢的错误，缺乏开放式学习的能力：一旦他们接受了书籍、博客和其他材料的培训，他们的知识储备就会被冻结。他们没有通过人工智能公司 SingularityNET 的 Ben Goertzel 所说的“机器人大学生测试”：你不能让他们读完大学（甚至不能读托儿所）。
这些系统明确解决了 AGI 的一个部分是语言。他们拥有专家所说的正式能力：他们可以解析你给他们的任何句子，即使是零散的或俚语的，并用可能被称为维基百科标准英语的东西回答。但他们在思维的其他维度上失败了——一切有助于我们处理日常生活的东西。“我们不应该指望他们能够思考，”麻省理工学院的神经科学家南希·坎维舍 （Nancy Kanwisher） 说。“他们是语言处理器。”他们巧妙地纵文字，但除了通过他们吸收的文本之外，无法进入现实。
在某种程度上，大型语言模型只模仿大脑的语言能力，而没有感知、记忆、导航、社会判断等能力。如果像 Kanwisher 所说的那样，我们的大脑是具有多种功能的瑞士军刀，那么大型语言模型就是一个非常棒的开瓶器。她和其他神经科学家争论这些功能是局限于特定位置还是分布在我们的灰质中，但大多数人都同意至少有一些专业化。AI 开发人员正在将这种模块化整合到他们的系统中，希望使它们更智能。
没有人确定大脑区域如何协同工作以创造一个连贯的自我，更不用说机器如何模仿它了。一种假设是意识是共同点。
OpenAI 是生成式预训练转换器 （GPT） 的创建者，它允许付费用户选择附加工具（最初称为“插件”）来处理数学、Internet 搜索和其他类型的查询。每个工具都调用了一些与其专业相关的外部知识库。此外，对于用户来说，核心语言系统本身在某种意义上可能是模块化的。OpenAI 对规范保密，但许多 AI 研究人员推测，GPT 由多达 16 个独立的神经网络或“专家”组成，这些网络将他们对查询的答案汇集在一起——尽管他们如何分工尚不清楚。2023 年 12 月，法国人工智能公司 Mistral 和不久之后的中国公司 DeepSeek 发布了这种“专家混合”架构的开源版本，引起了轰动。这种简单的模块化形式的主要优点是其计算效率：训练和运行 16 个较小的网络比单个大型网络更容易。“让我们两全其美，”爱丁堡大学 AI 研究员 Edoardo Ponti 说。“让我们得到一个具有大量参数的系统，同时保持更小模型的效率。”
但模块化需要权衡取舍。没有人确定大脑区域如何协同工作以创造一个连贯的自我，更不用说机器如何模仿它了。佐治亚理工学院（Georgia Institute of Technology）的神经科学家安娜·伊万诺娃（Anna Ivanova）想知道：“信息是如何从语言系统进入逻辑推理系统或社会推理系统的？“这仍然是一个悬而未决的问题。”
一个具有挑衅性的假设是意识是共同点。根据这个被称为全局工作空间理论 （GWT） 的思想，意识之于大脑就像员工会议之于公司：一个模块可以共享信息和寻求帮助的地方。GWT 远非唯一的意识理论，但它引起了 AI 研究人员的特别兴趣，因为它猜想意识是高级智能不可或缺的一部分。要完成简单或经过演练的任务，大脑可以在自动驾驶仪上运行，但新颖或复杂的任务（超出单个模块范围的任务）需要我们了解自己在做什么。
Goertzel 和其他人已将工作区整合到他们的 AI 系统中。“我认为全球工作空间模型的核心思想将以许多不同的形式出现，”他说。在设计这个模型的电子表示时，研究人员并不寻求制造有意识的机器;相反，他们只是在复制特定意识理论的硬件，以试图实现类似人类的智能。
他们会不会无意中创造了一个有感情和动机的有知觉的生物？这是可以想象的，尽管即使是 GWT 的发明者、加利福尼亚州拉霍亚神经科学研究所的伯纳德·巴尔斯 （Bernard Baars） 也认为这是不可能的。“有意识计算是一个没有丝毫证据的假设，”他说。但是，如果开发人员真的成功构建了 AGI，他们就可以提供对智能本身的结构和过程的重要见解。
长期以来，GWT 一直是神经科学和 AI 研究如何相互影响的案例研究。这个想法可以追溯到“Pandemonium”，这是计算机科学家奥利弗·塞尔弗里奇 （Oliver Selfridge） 在 1950 年代提出的一种图像识别系统。他将系统的模块描绘成在弥尔顿式的地狱愿景中尖叫着寻求关注的恶魔。与他同时代的艾伦·纽维尔（Allen Newell）更喜欢数学家围坐在黑板旁一起解决问题的更稳重的比喻。这些想法被认知心理学家采纳了。在 1980 年代，Baars 提出了 GWT 作为人类意识的理论。“在整个职业生涯中，我从 AI 中学到了很多东西，主要是因为它是我们唯一可行的理论平台，”他说。
Baars 启发了孟菲斯大学的计算机科学家 Stanley Franklin 尝试构建一台有意识的计算机。无论富兰克林的机器是否真的有意识——巴尔斯和富兰克林自己都持怀疑态度——它至少再现了人类心理学的各种怪癖。例如，当它的注意力从一件事转移到另一件事时，它会错过信息，因此它和人一样不擅长多任务处理。从 1990 年代开始，巴黎法兰西学院的神经科学家 Stanislas Dehaene 和 Jean-Pierre Changeux 研究了哪种类型的神经元布线可以实现该工作空间。
在这个方案中，大脑模块大多独立运行，但每隔十分之一秒左右，它们就会召开一次员工会议。这是一场结构化的呐喊比赛。每个模块都有一些信息可以提供，它对这些信息越有信心——例如，刺激措施越符合预期——它喊得就越响亮。一旦一个模块获胜，其他模块就会安静片刻，获胜者将其信息放入一组公共变量中：工作区。其他模块可能会也可能不会发现这些信息有用;每个人都必须自己判断。“你会得到这个有趣的子代理之间的合作和竞争过程，每个子代理都有一小部分解决方案，”Baars 说。
工作区不仅允许模块相互通信，而且还提供了一个论坛，即使信息不再呈现在感官上，它们也可以在这里集体思考信息。“你可以有一些现实的元素——也许是转瞬即逝的感觉，它已经消失了，但在你的工作空间中，它会继续回荡，”Dehaene 说。这种深思熟虑的能力对于解决涉及多个步骤或随着时间的推移而延伸的问题至关重要。Dehaene 进行了心理学实验，在他的实验室里向人们提出了这些问题，他发现他们必须有意识地思考这些问题。
对人工智能的追求告诉我们，我们认为简单的任务对计算要求很高，而我们认为困难的事情，例如国际象棋，实际上是简单的。
如果这个系统听起来是无政府主义的，那就是重点。它消除了在模块之间委派任务的 Boss，因为委派很难正确。在数学中，授权（或在不同的参与者之间分配责任以实现最佳性能）属于所谓的 NP 困难问题，解决这些问题可能非常耗时。在许多方法中，例如被认为由 OpenAI 使用的专家混合架构，“门控”网络会分发任务，但它必须与各个模块一起进行训练，并且训练过程可能会崩溃。首先，它遭受了 Ponti 所说的“先有鸡还是先有蛋的问题”：因为模块依赖于路由，而路由又依赖于模块，所以训练可能会兜圈子。即使训练成功，路由机制也是一个黑匣子，其工作原理是不透明的。
2021 年，卡内基梅隆大学 （Carnegie Mellon University） 的数学家兼名誉教授 Manuel Blum 和 Lenore Blum 制定了全球工作空间中争夺注意力之战的细节。它们包括一个机制，用于确保模块不会夸大他们对所带来信息的信心，从而防止一些吹牛接管。已婚的 Blum 夫妇还建议模块可以开发直接互连，以完全绕过工作区。例如，这些侧面链接可以解释当我们学习骑自行车或演奏乐器时会发生什么。一旦模块共同确定哪些模块需要做什么，它们就会将任务脱机。“它将通过短期记忆的处理转变为无意识的处理，”Lenore Blum 说。
有意识的关注是一种稀缺资源。工作区中没有太多的信息空间，因此获胜的模块在传达给其他模块的内容时必须非常有选择性。这听起来像是一个设计缺陷。“为什么大脑对你可以同时思考的事情数量有如此限制？”但他认为这种约束是一件好事：它强制执行认知纪律。由于无法追踪世界的所有复杂性，我们的大脑必须识别其背后的简单规则。“这个瓶颈迫使我们想出一个关于世界是如何运作的，”他说。
对 Bengio 来说，这是 GWT 为 AI 上的重要一课：今天的人工神经网络对自身来说太强大了。他们有数十亿或数万亿个参数，足以吸收互联网的大量内容，但往往会陷入杂草丛中，无法从他们所接触到的东西中提取更大的教训。如果他们大量的知识储备必须通过一个狭窄的漏斗，就像我们的意识思维是如何运作的，他们可能会做得更好。
Bengio 在 AI 系统开始考虑 GWT 之前就开始努力将意识瓶颈纳入 AI 系统。在 2010 年代初期，Bengio 和他的同事对我们的大脑如何选择性地专注于一条信息并暂时屏蔽其他所有信息印象深刻，他们在神经网络中构建了一个类似的过滤器。例如，当 GPT 等语言模型遇到代词时，它需要找到先行词。它通过突出显示附近的名词并使其他词性变灰来实现此目的。实际上，它 “关注” 理解文本所需的关键词。代词也可能与形容词、动词等相关联。网络的不同部分可以同时关注不同的单词关系。
但 Bengio 发现这种注意力机制带来了一个微妙的问题。假设网络完全忽略了一些单词，它将通过为对应于这些单词的计算变量分配零值来实现。如此突然的变化将对训练网络的标准程序造成影响。该过程称为反向传播，涉及将网络的输出追溯到产生它的计算，这样如果输出错误，您可以找出原因。但是你不能通过突然的变化来追溯。
因此，Bengio 和其他人设计了一种“软关注机制”，使网络具有选择性，但并不过分。它为各种选项分配数字权重，例如代词可能与哪些单词相关。尽管有些单词的权重比其他单词高，但所有单词都仍在发挥作用;网络从不做出艰难的选择。“你得到其中的 80%，其中 20%，而且因为这些注意力权重是连续的，所以你实际上可以做 [微积分] 并应用反向传播，”Bengio 说。这种软注意力机制是 “transformer” 架构的关键创新，即 GPT 中的 “T”。
近年来，Bengio 重新审视了这种方法，以创造更严格的瓶颈，他认为如果网络要实现接近真正理解的东西，这一点很重要。真正的全局工作空间必须做出艰难的选择 — 它没有空间来跟踪所有选项。2021 年，Bengio 和他的同事设计了一个 “生成流 ”网络，该网络会定期选择一个可用选项，其概率由注意力权重决定。他不仅仅依赖反向传播，而是训练网络在正向或反向工作。这样，即使发生突然的变化，它也可以返回以修复任何错误。在各种实验中，Bengio 已经表明，该系统开发了更高级别的输入数据表示，与我们自己的大脑获取的数据平行。
实施全局工作空间的另一个挑战是高度专业化。就像不同大学系的教授一样，大脑的各种模块创造了相互无法理解的行话。视觉区域提出了抽象，让它能够处理来自眼睛的输入。听觉模块开发适合内耳振动的表现。那么他们是如何沟通的呢？他们必须找到某种通用语或亚里士多德所说的常识——该术语的原意。这种需求在科技公司一直在引入的“多模式”网络中尤为紧迫，这些网络将文本与图像和其他形式的数据相结合。
在 Dehaene 和 Changeux 的 GWT 版本中，这些模块由神经元连接，这些神经元调整它们的突触，将传入的数据翻译成本地白话。“他们将 [输入] 转换为自己的代码，”Dehaene 说。但细节并不模糊。事实上，他希望试图解决人工神经网络类似问题的 AI 研究人员能够提供一些线索。“工作空间更像是一个想法;这几乎不是一个理论。我们正在努力使其成为一个理论，但它仍然很模糊——工程师们有这种非凡的才能，可以把它变成一个工作系统，“他说。
2021 年，总部位于东京的人工智能公司 Araya 的神经科学家兼创始人金井凉太和另一位跨界进入人工智能的神经科学家、法国图卢兹大学的 Rufin VanRullen 提出了一种人工神经网络执行翻译的方法。他们从 Google 翻译等语言翻译系统中获得灵感。这些系统是迄今为止人工智能最令人印象深刻的成就之一。他们可以在不被告知的情况下完成自己的工作，例如，英语中的“love”与法语中的“amour”的含义相同。相反，他们孤立地学习每种语言，然后通过他们的掌握推断出哪个词在法语中扮演着与英语中“爱”相同的角色。
假设您用英语和法语训练两个神经网络。每个语言都收集了各自语言的结构，发展出一种称为潜在空间的内部表示。从本质上讲，它是一个词云：一张地图，展示了该语言中单词的所有关联，通过将相似的单词彼此靠近，将不相关的单词相距较远的位置来构建。云的形状很独特。事实上，这两种语言的形状是相同的，因为尽管它们的所有差异，但它们最终指的是同一个世界。您需要做的就是旋转英语和法语词云，直到它们对齐。你会发现 “爱” 与 “amour” 是一致的。“没有字典，通过查看每种语言的潜在空间中嵌入的所有单词的星座，你只需要找到正确的旋转来对齐所有点，”Kanai 说。
因为该程序可以应用于整个段落以及单个单词，所以它可以处理微妙的含义阴影和在其他语言中没有直接对应物的单词。此方法的一个版本可以在不相关的语言（如英语和中文）之间进行翻译。它甚至可能对动物交流有效。
VanRullen 和 Kanai 认为，该程序不仅可以在语言之间翻译，还可以在不同的含义和描述模式之间翻译。“你可以通过独立训练图像处理系统和语言处理系统来创建这样一个系统，然后实际上你可以通过对齐它们的潜在空间将它们组合在一起，”Kanai 说。与语言一样，翻译是可能的，因为系统基本上指的是同一个世界。这种洞察力正是 Dehaene 所希望的：AI 研究如何提供对大脑运作的洞察力的一个例子。“神经科学家从未考虑过这种对齐潜在空间的可能性，”Kanai 说。
为了了解这些原则是如何付诸实践的，Kanai 与现在在高级意识研究所工作的 Arthur Juliani 和 Araya 的 Shuntaro Sasai 合作，研究了 Google DeepMind 在 2021 年发布的 Perceiver 模型。它旨在将文本、图像、音频和其他数据融合到一个公共的潜在空间中;2022 年，谷歌将其整合到一个自动为 YouTube Shorts 编写描述的系统中。Araya 团队运行了一系列实验来探索 Perceiver 的工作原理，发现虽然它不是故意设计为全局工作区，但它具有一个特征：独立模块、在模块中进行选择的过程和工作内存 - 工作区本身。
类似工作空间的想法的一个特别有趣的实现是 AI People，这是一款由布拉格的 AI 公司 GoodAI 创建的类似模拟人生的游戏。我在 2023 年夏天看到的版本设置在一个监狱院子里，里面挤满了罪犯、腐败的警卫和认真的精神科医生，但去年发布的 alpha 版本包括更多和平的场景。游戏使用 GPT 作为角色的大脑。它不仅控制他们的对话，还控制他们的行为和情绪，使他们有一定的心理深度;系统会跟踪角色是生气、悲伤还是焦虑，并相应地选择其行为。开发人员添加了其他模块（包括短期记忆形式的全局工作区），为角色提供一致的心理，并让他们在游戏环境中采取行动。“我们的目标是使用大型语言模型作为引擎，因为它非常好，然后围绕它构建长期记忆和某种认知架构，”GoodAI 创始人 Marek Rosa 说。
AI 的一项潜在突破性进展来自 meta 的研究员 Yann LeCun。虽然他没有直接引用全球工作空间作为灵感，但他在挑战当前生成模型的霸权——GPT 中的“G”时，走了自己的路，实现了许多相同的想法。“我正在倡导反对一些不幸的是目前在 AI/机器学习社区中非常流行的东西，”LeCun 说。“我告诉人们：放弃生成模型。”
生成神经网络之所以如此命名，是因为它们根据所接触的内容生成新的文本和图像。要做到这一点，他们必须对细节一丝不苟：他们必须知道如何拼写句子中的每个单词，以及如何将每个像素放在图像中。但是，如果说情报有什么不同的话，那就是对细节的选择性忽视。因此，LeCun 主张研究人员回到现在不合时宜的“判别性”神经网络技术，例如用于图像识别的神经网络，之所以这样称呼，是因为它们可以感知输入之间的差异——例如，狗与猫的图片。这样的网络不会构建自己的图像，而只是处理现有图像以分配标签。
LeCun 开发了一种特殊的训练方案，使判别网络提取文本、图像和其他数据的基本特征。它可能无法自动完成一个句子，但它创造了抽象的表示，LeCun 希望这些表示类似于我们自己脑海中的那些。例如，如果你提供一辆汽车在路上行驶的视频，表示应该捕捉它的品牌、型号、颜色、位置和速度，同时省略沥青路面的颠簸、水坑上的波纹、路边草叶上的闪光——除非我们特别注意它，否则我们的大脑会忽略它。“所有这些不相关的细节都被消除了，”他说。
这些简化的表示本身没有用，但它们实现了一系列对 AGI 至关重要的认知功能。LeCun 将判别网络嵌入到一个更大的系统中，使其成为一个类脑架构的一个模块，该架构包括 GWT 的关键功能，例如短期记忆和用于协调模块和确定工作流程的“配置器”。例如，系统可以进行规划。“我深受心理学基础知识的启发，”LeCun 说。就像人脑可以运行思想实验，想象某人在不同情况下的感受一样，配置器将多次运行判别网络，列出一系列假设作以找到能够实现预期结果的作。
LeCun 说，他通常更喜欢避免对意识得出结论，但他提出了一种他所谓的“民间理论”，即意识是配置器的工作，这在他的模型中扮演的角色大致类似于 Baars 理论中工作区的作用。
如果研究人员成功地在 AI 系统中构建了一个真正的全球工作空间，这会让他们有意识吗？Dehaene 认为它会，至少如果与自我监控的能力相结合。但巴尔斯对此持怀疑态度，部分原因是他仍然不完全相信自己的理论。“我一直在怀疑 GWT 是否真的那么好，”他说。在他看来，意识是一种生物功能，是我们作为生物所特有的。几年前我采访富兰克林时也表达了类似的怀疑。（他于 2023 年去世。他认为，全球工作空间是进化对身体需求的回应。通过意识，大脑从经验中学习并快速解决复杂的生存问题。他认为，这些能力与 AI 通常应用于的问题类型无关。“你必须有一个具有真实思想的自主代理，并有一个控制结构，”他告诉我。“那个代理必须有某种生活——这并不意味着它不能是一个机器人，但它必须有某种发展。它不会全面地进入世界。
英国萨塞克斯大学的神经科学家阿尼尔·塞斯 （Anil Seth） 同意这些观点。“意识不是聪明的问题，”他说。“这同样是活着的问题。无论它们多么聪明，通用的 AI 如果不是活着的，就不太可能有意识。
赛斯并不赞同 GWT，而是赞同一种被称为预测过程的意识理论，通过这种理论，有意识的存在试图预测会发生什么，以便做好准备。“理解有意识的自我始于理解身体控制的预测模型，”他说。Seth 还研究了集成信息理论，该理论将意识与其复杂的网络结构无关，而不是与大脑的功能相关联。根据这一理论，意识不是智力的组成部分，但可能是由于生物效率的原因而出现的。
目前，AI 是一个思想丰富的领域，工程师已经有大量潜在客户需要跟进，而无需从神经科学中导入更多潜在客户。“他们正在杀死它，”哥伦比亚大学的神经科学家 Nikolaus Kriegeskorte 指出。但大脑仍然是广义智能的存在证明，并且目前是 AI 研究人员拥有的最佳模型。“人脑有一些工程学尚未征服的技巧，”Kriegeskorte 说。
过去几十年来对 AGI 的追求让我们对自己的智能有了很大的了解。我们现在意识到，我们认为简单的任务（例如视觉识别）对计算要求很高，而我们认为困难的任务（例如数学和国际象棋）实际上是简单的。我们还意识到，大脑几乎不需要先天知识;他们通过经验学习几乎所有他们需要知道的东西。现在，通过模块化的重要性，我们证实了古老的智慧，即没有一种叫做智能的东西。它是一个能力工具箱——从处理抽象到驾驭社会复杂性，再到适应视觉和声音。正如 Goertzel 所指出的，通过混合和匹配这些不同的技能，我们的大脑可以在我们以前从未遇到过的领域中取得胜利。我们创造新颖的音乐流派，解决前几代人甚至无法制定的科学难题。我们踏入未知领域——有一天，我们的人造表亲可能会与我们一起迈出那一步。
