公告

介绍 Anthropic 的负责任扩展政策

Sep 19, 2023

今天，我们发布了《负责任扩展政策》（Responsible Scaling Policy, RSP）——这是一系列我们正在采用的技术与组织协议，旨在帮助我们管理开发日益强大 AI 系统所带来的风险。

随着 AI 模型能力不断增强，我们相信它们将创造巨大的经济和社会价值，但同时也将带来日益严峻的风险。我们的 RSP 聚焦于灾难性风险——即 AI 模型直接导致大规模破坏的风险。这类风险可能源于模型的蓄意滥用（例如恐怖分子或国家行为者利用模型制造生物武器），也可能源于模型以违背设计者意图的方式自主行动并造成破坏。

我们的 RSP 定义了一个名为“AI 安全等级”（AI Safety Levels, ASL）的框架，用于应对灾难性风险。该框架大致借鉴了美国政府处理危险生物材料的生物安全等级（BSL）标准。其基本理念是：要求模型的安全、安保和运营标准与其潜在的灾难性风险相匹配，更高的 ASL 等级需要更严格的安全证明。

ASL 系统的简要总结如下：

• ASL-1：指不构成任何实质性灾难性风险的系统，例如 2018 年的 LLM 或仅用于下棋的 AI 系统。
• ASL-2：指展现出早期危险能力迹象的系统——例如能够提供如何制造生物武器的指导——但由于可靠性不足或所提供信息并不超出搜索引擎等基线水平，这些信息尚不具备实用性。当前的 LLM（包括 Claude）似乎属于 ASL-2。
• ASL-3：指相比非 AI 基线（如搜索引擎或教科书）显著增加灾难性滥用风险的系统，或展现出低水平自主能力的系统。
• ASL-4 及更高等级（ASL-5+）：目前尚未定义，因为距离现有系统过于遥远，但很可能涉及灾难性滥用潜力和自主能力的质的升级。

每个 ASL 等级的定义、标准和安全措施在主文档中有详细描述。但概括而言，ASL-2 措施代表我们当前的安全和安保标准，与我们近期对白宫的承诺高度重合。ASL-3 措施则包括更严格的标准，需要投入大量研究和工程努力才能及时满足，例如异常严格的安全要求，以及承诺在顶级红队进行对抗性测试后，若 ASL-3 模型展现出任何实质性的灾难性滥用风险，则不予部署（这与仅承诺进行红队测试形成对比）。我们的 ASL-4 措施尚未制定（我们的承诺是在达到 ASL-3 之前制定它们），但可能需要解决当前尚未攻克的研究难题，例如利用可解释性方法从机制上证明模型不太可能参与某些灾难性行为。

我们设计 ASL 系统旨在有效应对灾难性风险与激励有益应用和安全进步之间取得平衡。一方面，ASL 系统隐含地要求我们：如果 AI 扩展速度超过了我们遵守必要安全程序的能力，则需暂时暂停更强大模型的训练。但这样做的方式是直接激励我们解决必要的安全问题，以此作为解锁进一步扩展的前提，并允许我们使用上一 ASL 等级中最强大的模型作为开发下一等级安全特性的工具。¹ 如果这一标准被前沿实验室广泛采纳，我们希望这能形成一种“竞相向上”的态势，将竞争动力直接引导到解决安全问题上。

从商业角度来看，我们希望明确一点：我们的 RSP 不会改变 Claude 的当前用途，也不会影响我们产品的可用性。相反，它应被视为类似于汽车或航空行业中的上市前测试和安全功能设计，其目标是在产品投放市场之前严格证明其安全性，这最终将使客户受益。

Anthropic 的 RSP 已获得其董事会的正式批准，任何变更必须在咨询长期利益信托基金（Long Term Benefit Trust）后经董事会批准。在完整文档中，我们描述了一系列程序性保障措施，以确保评估过程的完整性。

然而，我们想强调的是，这些承诺是我们当前的最佳判断，是一个我们将不断完善的早期迭代版本。AI 领域发展迅速且充满诸多不确定性，这意味着与相对稳定的 BSL 系统不同，快速迭代和方向纠偏几乎肯定是必要的。

完整文档可在此处阅读。我们希望它能对政策制定者、第三方非营利组织以及其他面临类似部署决策的公司提供有益的启发。

我们感谢 ARC Evals 为支持我们制定 RSP 承诺所提供的关键见解和专业知识，特别是在自主能力评估方面。我们发现他们在 AI 风险评估方面的专业知识在我们设计评估程序时起到了关键作用。同时，我们也认可 ARC Evals 在发起和引领其更广泛的 ARC 负责任扩展政策框架发展方面的领导作用，该框架启发了我们的方法。

脚注

• 总体而言，Anthropic 一贯发现，与前沿 AI 模型合作是开发减轻 AI 风险新方法的关键要素。