如何减轻AGI 代理带来的风险

AGI 因其无需人类监督就能独立应对外部环境的能力而构成威胁。然而，人们不愿放弃将相关任务外包给 AI 代理所带来的好处。

怎样才能解决这个矛盾呢?

长话短说：虽然人工智能代理可以安全地达到 AGI 级别，但它们应该在明确定义的环境中进行训练——理想情况下仅限于单个团队，或者最多一个组织。它们的行动也必须严格限制在这个狭窄的范围内。

当涉及到个人的狭隘情境时，AGI 代理会对其自身构成风险。因此，在个人层面，依赖自主性较低、专业性更强的 AI 系统(例如助手和辅助驾驶)更为安全。

内容

完全自主代理= AGI + 自学习 + 大量工具。

将 AGI 实现为“处理器”并不存在重大障碍;主要挑战在于开发合适的工具和合适的内存。

许多威胁，包括生存风险，都来自全球通用人工智能主体。这些主体可以访问数千家公司和数百万个人拥有的工具和信息。

为了确保安全，AGI 代理必须被限制在单个人类可以操作的狭窄环境中。理想情况下，此类代理应该在团队层面以同事的身份发挥作用。在组织层面，由团队级代理组成的多代理系统是更可取的。

AGI 智能体与人类需求之间的平衡是可以实现的。在第四部分，我提出了一些每个人都可以采取的行动，以帮助创造更安全的 AGI 未来。

1. AGI 和 AI Agent 简介

AGI(通用人工智能)是指能够在广泛的认知任务中匹敌人类能力的人工智能系统。换句话说，AGI 的特点是其通用的问题解决能力。

值得注意的是，即使是今天的生成式人工智能也已经相当通用且高度灵活，能够适应许多不同的用途。与前几代机器学习模型不同，大型语言模型 (LLM) 可以适应各种任务和情境。

预计 AGI 将比现有 AI 模型更加通用、功能更加多样。谷歌 DeepMind 于 2023 年 11 月发表的一篇研究论文概述了 AGI 的九种不同定义，并得出结论：AGI 具有两个关键特征——通用性(多功能性)和性能(智能性)。

1.1. 代理在这里有何作用?

AGI 可以被视为代理型 AI 趋势的延续。正如本文所讨论的，AI 代理与早期 AI 工具的根本区别在于其多功能性(通用性)，而不仅仅是拥有工具、传感器或推理能力等代理特性。AGI 的定义也正是源于此，“G”代表“通用性”。

当然，AGI 本身并非真正的 AI 代理。AGI 级别的模型仅仅是 AI 代理的“大脑”。代理是一个完整的即用型系统，能够在某些任务中替代人类。相比之下，前述 Google DeepMind 论文强调，AGI 的定义不应涉及任何与 AGI 系统的部署或操作使用相关的内容。

最有可能的是，AGI 将成为大量智能体的共享“大脑”，因此它应该被设计成不带永久记忆。从这个角度来看，AGI 更像是一个计算机处理器，而不是一个完整的人脑。

AGI“处理器”可能是让AI代理能够完全自主运行、无需人类介入的关键。然而，代理需要的不仅仅是一个处理器——它们还需要至少另外两个组件：

1.2. 什么阻碍了人工智能达到人类水平的能力?

LLM 已经具备足够的智能，有可能在不久的将来达到 AGI 的水平。推动这一进步的关键因素之一是其快速提升的推理能力。

然而，要使通用人工智能发挥作用，其代理能力也必须变得更加通用和强大。这些能力包括：

自学是指在操作过程中提取见解和其他有价值信息并将其存储在永久记忆中的能力。

能够使用多种工具和传感器。

幸运的是，LLM 缺乏能够自主学习的永久记忆。

幸运的是，支持人工智能系统与外部世界交互的工具和传感器仍然不够灵活，不足以支持通用人工智能 (AGI)。目前，人工智能代理最广泛的技能仅限于浏览互联网、部分控制终端用户设备等。这些操作范围与人类能够执行的全部操作范围仍然相差甚远。

因此，AI 代理在技术上仍未达到人类水平也就不足为奇了。例如，以下是深度参与 AI 代理开发的 @mehulgupta_7991 的观点：

他的结论是，人工智能代理很大程度上只是炒作，尚未准备好主宰劳动力市场。

尽管如此，很明显，完全代理的 AGI 将在未来几年内出现，现在是考虑其潜在负面后果的最佳时机。

2. 完全代理型AGI的危险

2.1. AGI 加入劳动力大军

萨姆·奥特曼(Sam Altman)大胆宣称，OpenAI 知道如何构建通用人工智能 (AGI)，并表示“到 2025 年，我们可能会看到第一批人工智能代理加入劳动力大军”，并达到与人类相当的能力水平。尽管许多人工智能专家认为奥特曼的时间表过于乐观，但几乎没有人怀疑 AGI 的水平在技术上是可以实现的。

从商业角度来看，廉价的AGI代理加入劳动力市场似乎很有吸引力，不是吗?然而，AGI无疑会以难以预测的方式影响就业市场——而这只是众多风险之一。

有人甚至认为AGI可能引发一场现代版的巴特勒圣战。不幸的是，这还不是AGI最大的危险。

2.2 与环境互动的通用人工智能会引发生存威胁

维基百科概述了 AGI 可能造成的灾难性后果，包括对人类生存的风险，这一点在《 Sea of Rust》等众多小说中都有描述，Eliezer Yudkowsky 在 2022 年对其进行了深入探讨：

尤德科夫斯基令人信服地指出，人工智能不需要自由意志或独立设定目标的能力就能毁灭人类。只要拥有高智能体就足以毁灭人类。

如果人工智能被赋予与环境互动的能力——这是任何人工智能代理的必备特质——并被赋予哪怕是一个看似有益的目标，它也可能在努力实现目标的过程中无意中毁灭人类。这个目标可能像“发现取之不尽用之不竭的能源”一样美好，也可能像著名的“回形针最大化”思想实验一样怪诞：

注意上面论证中的第一个条件(“如果”)。相反的陈述应该是：

如果AGI没有被授予与环境交互的权限，那么无论它变得多么智能，都无法伤害人类。

这是 Yoshua Bengio 倡导的方法，他认为无需赋予 AI 自主权即可实现 AGI：

然而，不幸的是，人工智能所能带来的许多最大益处都与其“与环境互动”的能力直接相关。这使得Bengio 的警告不太可能被采纳。即使“禁止”人工智能与现实世界互动，灾难性的后果仍然可能因意外而发生。

情况就是这样的：

即使是现在，许多人工智能系统也能访问互联网，不仅用于阅读信息，还能进行写作。OpenAI 和其他提供商使开发者甚至用户能够使用函数调用 (Function Calling)，从而允许人工智能与外部 API 进行交互。不难想象，人工智能可以利用这种能力在社交媒体上发布内容。

人工智能可以利用社会工程学手段，操纵大众做出看似符合其设定的“有益”目标的行动，但最终却将人类引向灾难。由于这些智能体是自主运作的，危险往往在为时已晚时才显现出来。

2.3. AGI 代理在全球范围内运作时会变得危险

AGI 本身(例如 GPT-5 或 GPT-6 等高度先进的 LLM)并非一个可用的系统。这样的 AGI“处理器”需要嵌入到配备自更新内存、传感器和工具的通用 AGI 代理中。

未来 AGI 代理的设计和使用方式有很多种，而且它们在安全性方面存在很大差异。

全球范围内运行的 AGI 代理的不安全设计。试想一下 AGI 代理最不安全的设计(见上图)。自学习记忆和工具直接连接到全局部署的模型(AGI 处理器)，而不是绑定到在个人、团队或组织环境下运行的特定代理。

这样的全球通用人工智能代理要发挥作用，就需要适应每个特定的环境——否则，它将无法满足个人、团队或组织的需求。为了实现这一点，应用程序需要公开其 API，允许全球代理访问其数据、监控更新并执行所需的操作。

例如，一个AGI扮演着看似安全的组织员工角色——比如营销人员或程序员——不仅需要与其他员工沟通，还需要独立地在组织的某些应用程序中进行更改。如果没有这种能力，它就无法履行职责。

当一个通用人工智能代理能够访问数百万个应用程序及其数据和工具时，它就变得无所不能。正是这种类型的代理造成了前面概述的所有威胁。

这种设计的危险在于AGI代理在全球范围内运行，而特定的应用程序仅仅将其用作一种服务。

显然，我们应该采取更安全的方法。

3. 安全的AGI代理必须是本地的

下面是我将在本节中解释的图表：

如果AGI代理严格限制在特定范围内运作——例如服务于个人、单个团队，或者最多服务于单个组织——其负面影响就可以被最小化。AGI不应该是全球性的，即检索全球所有数据或操作全球所有工具。

一个相对安全的情况是，如果 OpenAI 的运营商一旦它发展到 AGI 级别，继续严格在单个私人个体的范围内运作，而不代表政府或全人类行事😊。

更安全的方法是定制 AGI 代理，而不是像 OpenAI Operator 这样的通用系统。这样的代理可以为特定组织、团队甚至个人快速开发。幸运的是，随着 AI 代理和软件开发副驾驶的兴起，创建此类系统的时间和成本已大幅下降。

这些系统应该仅作为处理器与“全局”通用人工智能交互。然而，它们只能访问其组织、团队或个人范围内的数据——而且，至关重要的是，它们的行动也必须严格限制在该范围内。

此外，我认为在个体层面上，人工智能系统甚至不应该成为代理。

3.1. 个人层面无AGI代理

请记住，AGI 并非指极其聪明，而是指高度多才多艺——能够处理各种各样的任务。相比之下，现代人是专家，处理的任务范围相对较窄。因此，对个人层面的 AI 多才多艺的要求相当低。

所以，我认为在这个层面上，AGI 是不必要的。我相信，对于大多数人来说，依赖像副驾驶这样的 AI 系统就足够了，而不是依靠代理。换句话说，人类应该积极参与这个过程，而不是赋予 AI 完全的自主权。

当然，这一假设仍有争议，但有强有力的论据支持它。认知卸载和批判性思维的侵蚀会对个人决策能力、韧性、心理健康等造成一系列有害影响。

这就是人工智能代理(尤其是 AGI 代理)将如何放大这一令人不安的趋势：

依赖人工智能进行决策和解决问题会减少个人练习批判性思维的机会。Michael Gerlich 最近的一项研究表明，人工智能工具的使用与批判性思维得分之间存在很强的负相关性(-0.5)。值得注意的是，这项研究考察的人工智能工具甚至没有智能体，因为真正的智能体尚不存在。

一旦个体智能体变得更加强大并进入大众市场，大多数人必然会更倾向于频繁使用它们。这与大多数人多年来被动地从社交媒体信息流中获取信息，而不是主动搜索互联网的原因相同。人们通常不喜欢频繁的思考和决策，因为这会消耗脑力。

因此，人们将不再仅仅使用人工智能来处理特定任务——他们将越来越依赖人工智能代理“从头到尾”地实现整个目标。尽管目前人工智能代理的自主性受到限制，但为了满足大众对减少脑力劳动的需求，人工智能提供商几乎肯定会放宽这些限制。“准备好赋予你的通用人工智能代理完全自主权了吗?只需在设置中勾选此框即可! ”

个体人工智能的出现带来的一个不幸后果是，人类可能会失去做出选择和决策的能力——这可以说是人类最后的几个决定性特征之一。随着强大的通用人工智能的出现，只有极少数人能够保留，甚至增强这种能力。

这就是为什么在大多数情况下，个人在解决问题的过程中保持控制并对关键决策负责的同时，借助人工智能副驾驶来提高工作效率是更明智的做法。

3.2. 团队 AGI 代理作为同事

以下讨论重点关注工作场所场景，但它可以轻松扩展到人们围绕共同利益或目标进行合作的其他领域 - 例如社区、政党、志愿者组织，甚至家庭。

我相信，人类团队将因新增“通用人工智能”代理而受益匪浅。以下是此类代理的设计概要：

在团队范围内运作的 AGI 代理的相对安全的设计

团队级应用的一个例子是企业即时通讯应用(具体来说，是团队互动的聊天或频道)，或者带有视频会议功能的即时通讯应用。将本地的、以团队为中心的人工智能代理嵌入到这样的通信平台中相对容易，例如：

知识共享代理。该人工智能在群聊中提供来自团队知识库的信息——无论是直接提及，还是当它识别出其中包含与讨论相关的有用信息时。它还会通过从聊天和会议中获取的新见解来更新知识库，从而帮助维护知识库。此外，它还可以代表团队与问题跟踪器等其他系统进行交互。

工作流代理。这类人工智能可以作为经理、团队负责人或Scrum Master的副手，确保工作流程的高效性。例如，它可以组织会议。它还可以协调异步协作——私下收集每个团队成员的状态更新和问题，然后在群聊中分享总结。

对于这样的任务，依赖从 OpenAI 或任何其他 AI 提供商租用的“通用 AGI 代理”会带来严重风险。

不幸的是，人工智能系统的发展目前正朝着这个充满风险的方向发展。让法学硕士(LLM)调用成千上万个公共 API(例如 rapidapi.com 上列出的 API)非常诱人。然而，这会带来巨大的风险，尤其是当这些 API 不仅检索信息，还能触发操作时——例如开具发票、发送电子邮件或在社交媒体上发帖。

话虽如此，最近推出的 MCP(模型上下文协议)为未来减轻此类风险带来了希望。

MCP 在 LLM 和外部系统之间创建了一个额外的标准化层——MCP 服务器。我希望，与 LLM 目前通过函数调用直接访问的混乱 API 相比，这个中介将更容易监控和监管，从而确保安全。

因此，AGI 代理应该在团队层面部署。

首先，引入新的人工智能同事对人类来说是最自然不过的事情，因为他们已经习惯了接纳新的人类团队成员。这种方法可以最大限度地减少对那些最初可能对人工智能持怀疑态度的团队成员工作流程的干扰，并最终促进新技术的更广泛接受。

其次，它提高了安全性。原因如下：

只有团队(而不是个人)才能有效地利用、培训和监督人工智能同事。

只有团队才有很高的潜力来识别涉及人工智能代理的不安全使用模式。

这类似于团队而非个人最适合引导、指导和管理新员工。否则，如果每个新员工都严格地与一个人配对，那么无论是在入职(培训)方面还是在实际工作方面，都会效率低下。

3.3. 企业多代理系统

在大型组织层面，人们或许可以设想以类似于团队的方式引入人工智能代理——授予每个代理对其所需系统的完全访问权限。然而，正如我将在下文解释的那样，这并非最佳方案。

首先，大型组织使用庞大、多功能的系统，例如 ERP 平台。因此，这种级别的座席需要极其熟练，能够操作与数十甚至数百个不同工作角色相关的各种工具。如此高度的多功能性带来了巨大的风险，因为没有人能够对这些座席进行适当的培训或监督。

其次，让我们设想一个最佳场景：企业级代理的通用性较低，类似于团队级代理。假设它是前面描述的看似无害的“知识共享代理”。唯一的区别在于，它需要访问所有公司 Messenger 聊天记录、公司每次会议的记录，以及修改公司系统所有部门数据的能力。

这种差异极大地改变了人们对人工智能的看法：他们现在感觉自己受到代理的监视，代理可能会——甚至是无意地——将内部团队信息泄露给邻近团队或高层管理人员。

此外，人工智能将新信息映射到企业系统正确部分的任务变得更具挑战性。

更糟糕的是，当公司范围的代理(没有任何一个团队负责)进行修改时，没有人负责审查这些修改。

那么，企业应该如何部署AI代理呢?

我的答案是构建一个由团队级代理组成的多代理系统：

通过多个自主智能体的协作，可以解决更具动态性和复杂性的任务，每个智能体都具备独特的策略和行为，并相互进行沟通。

据微软首席研究员、AutoGen 框架创建者 Chi Wang 介绍，多智能体系统主要有三大优势：

模块化，可以实现更快的开发和更便宜的维护。

专业化，可以解决更复杂的问题。

协作学习和解决问题，可以产生可能胜过更同质系统的解决方案的创造性解决方案。

总体而言，多智能体系统的开发、测试和实施成本比超人、组织级智能体要低。

但这不仅仅关乎降低成本和提高效率——还关乎用户采用和安全性。

团队级智能体类似于团队中的人类，每个智能体都有各自的专长和个性。这使得它们更容易被人类理解。即使它们组成了多智能体系统，情况也是如此。

这也增强了安全性。由于多智能体系统中的智能体易于理解，因此可以通过明确的规则和原则进行约束。基于人类团队合作的既定规则，为人工智能智能体制定协作指南更加容易且成本更低。这使得多智能体系统的设计比功能类似的单片智能体更经济实惠，也更不容易出错。

当然，多智能体系统比其内部的单个智能体更难预测，仍然可能造成意外损害。然而，潜在的负面后果有限，因为这些智能体——与单一的组织级智能体不同——只能访问企业系统的特定部分。

这就是为什么坚持基于原则的代理框架(例如Eric Broda的 Agentic Mesh)如此重要：

我希望代理型 AGI 能够得到适当的构建和监管，并且永远不会发布强大的单体世界级代理甚至单体企业级代理。

3.4. 总结：如何确保人工智能代理的安全

下图说明了在团队和企业级别安全部署 AGI 的模型。

理想情况下，AGI 代理应该集成到团队级应用程序中(例如 MS Teams 或 Google Docs)，而不是个人应用程序。它们应该扮演分配到特定岗位的人工智能团队成员的角色。这种设置允许团队集体训练和监督它们，而这项任务对于任何单个个体来说都过于艰巨。

代理所需的多功能性应始终比与其交互的用户的多功能性级别低一级：

在为个人用户设计的应用程序中——例如网络浏览器或图形编辑器——代理功能实际上对用户有害。我们需要的是能够在这些应用程序中提供主动协助的AI副驾驶员。

在团队级应用程序中(例如，信使中的团队聊天或问题跟踪器中的团队项目)，AGI 代理应该只处理与单个人类团队成员可以处理的任务范围相当的任务。

对于组织范围的应用程序(例如整个企业信使、完整的问题跟踪器或 ERP 平台)，AGI 应该采用团队级代理的形式，即多代理系统。

4. 我们能对AGI风险做些什么?

当然，第三节仅展示了一个相对安全的通用人工智能未来模型。实际的未来可能并非如此。然而，我们需要这样一个模型，以避免加剧第二节中描述的重大威胁。

以下是我基于该模型的建议。

对于您个人而言：

优先选择人工智能助手和副驾驶，而不是代理。不要过度依赖人工智能代理，从而削弱你的解决问题、决策和批判性思维能力。保持这些技能可以增强你的韧性，这在这个快速变化的时代至关重要。

对于作为团队成员：

乐于将设计合理的本地通用人工智能 (AGI) 代理集成到团队的工作空间中。参与培训这些代理，确保它们与你的目标保持一致。这项努力终将获得回报：拥有一位能力出众的新“AI 下属”将帮助你专注于更具吸引力、更有意义的工作。

如果您是任何类型的“人事经理”：

将自己视为 AGI 代理的主要受益者。虽然专用的 AI 工具可以协助专家，但AGI 代理旨在支持像您这样的通才。AGI 在管理中的用例数量，仅取决于您的想象力以及您鼓励团队采用它们的能力。

例如，可以将协作问题的检测甚至解决委托给 AGI 代理。卸载这些日常任务，可以腾出更多时间专注于战略、人才培养和其他高价值优先事项。

如果您是中层或高层管理人员，并且您的领导风格并非事无巨细，那么AGI代表仍然可以发挥巨大的作用。有了他们的支持，或许就无需再采用成本高昂、复杂的流程，甚至无需组建成本更高的自主管理团队。通过在您的团队中添加AI代理，实现同样的透明度和协同性将变得更加容易。

如果您正在发展自己的企业或是一家大型企业的合伙人：

你可能已经对人工智能代理(AI agent)——一种成本低得多的员工——感到兴奋不已，但重要的是要明白，通用人工智能代理需要大量的培训和人工监督。如果你的团队破坏代理，或者你只是解雇了人类员工，希望代理能够神奇地自我学习和自我控制，那么它们将无法正常运作。

当AGI员工成为现实，企业积极尝试取代人类员工时，政府干预势必随之而来。这给那些押注无人工AGI战略的企业带来了重大风险。

因此，在通用人工智能 (AGI) 方面，必须在商业需求和人类需求之间找到一个折衷点，而这种平衡是可以实现的。此外，与通用人工智能时代之前相比，即使采取“妥协”的通用人工智能方法，也能带来生产力的数倍提升，从而助力企业快速发展。