Oct 3, 2025
AI 模型如今在网络安全任务中已具备实际用途，而不仅仅是理论上的可能。随着研究和经验证明了前沿 AI 作为网络攻击者工具的价值，我们投入资源提升了 Claude 帮助防御者检测、分析和修复代码及已部署系统中漏洞的能力。这项工作使 Claude Sonnet 4.5 在发现代码漏洞和其他网络安全技能方面，能够匹配甚至超越仅两个月前发布的前沿模型 Opus 4.1。采用并实验 AI 将成为防御者跟上步伐的关键。
我们相信，AI 对网络安全的影响正处于一个转折点。
多年来，我们的团队一直在仔细追踪 AI 模型在网络安全相关能力方面的进展。最初，我们发现模型在高级且有意义的任务上并不特别强大。然而，在过去一年左右的时间里，我们注意到一个转变。例如：
- 我们展示了模型能够在模拟中重现历史上代价最高的网络攻击之一——2017 年的 Equifax 数据泄露事件。
- 我们让 Claude 参加网络安全竞赛，它在某些情况下表现优于人类团队。
- Claude 帮助我们发现了自身代码中的漏洞，并在发布前进行了修复。
在今年夏天的 DARPA AI 网络挑战赛中，参赛团队使用大语言模型（LLM，包括 Claude）构建了“网络推理系统”，检查数百万行代码以寻找漏洞并进行修补。除了预设的漏洞外，团队还发现（并有时修复了）先前未被发现的、非人为制造的漏洞。在竞赛场景之外，其他前沿实验室现在也开始应用模型来发现并报告新型漏洞。
与此同时，作为我们安全防护工作的一部分，我们在自己的平台上发现并阻止了利用 AI 扩大其活动的威胁行为者。我们的安全防护团队最近发现（并阻止）了一起“氛围黑客”事件，其中一名网络犯罪分子使用 Claude 构建了一个大规模数据勒索计划，而此前这需要一个完整的团队才能完成。安全防护团队还检测并阻止了 Claude 被用于日益复杂的间谍活动，包括针对关键电信基础设施的行动，该行为者表现出与中国 APT 行动一致的特征。
所有这些证据线索让我们认为，我们正处于网络生态系统的一个重要转折点，此后的进展可能会变得非常迅速，或者使用量可能会快速增长。
因此，现在是加速利用 AI 进行防御、保护代码和基础设施的重要时刻。我们不应将 AI 带来的网络优势拱手让给攻击者和犯罪分子。 虽然我们将继续投资于检测和阻止恶意攻击者，但我们认为最具可扩展性的解决方案是构建 AI 系统，赋能那些保护我们数字环境的人——比如保护企业和政府的安全团队、网络安全研究人员以及关键开源软件的维护者。
在 Claude Sonnet 4.5 发布前夕，我们正是这样做的。
Claude Sonnet 4.5：强调网络安全技能
Claude Sonnet 4.5: emphasizing cyber skills
随着大语言模型（LLM）规模的扩大，“涌现能力”——即较小模型中不明显的、且未必是模型训练明确目标的技能——开始出现。事实上，Claude 执行网络安全任务的能力，例如在夺旗赛（CTF）挑战中发现和利用软件漏洞，是开发通用 AI 助手的副产品。
但我们不想仅仅依赖通用模型的进步来更好地装备防御者。鉴于 AI 和网络安全演变中这一时刻的紧迫性，我们专门投入研究人员，使 Claude 在关键技能（如代码漏洞发现和修补）上做得更好。
这项工作的成果体现在 Claude Sonnet 4.5 上。它在网络安全的许多方面与 Claude Opus 4.1 相当或更优，同时成本更低、速度更快。
来自评估的证据
Evidence from evaluations
在构建 Sonnet 4.5 时，我们让一个小型研究团队专注于增强 Claude 在代码库中发现漏洞、修补漏洞以及测试模拟部署的安全基础设施弱点的能力。我们选择这些任务是因为它们反映了防御方的重要工作。我们刻意避免了对攻击性工作有明显帮助的增强——例如高级利用或编写恶意软件。我们希望使模型能够在部署前发现不安全的代码，并在部署后找到并修复漏洞。当然，还有许多其他关键的安全任务我们没有重点关注；在本文末尾，我们将详细阐述未来的方向。
为了测试我们研究的效果，我们对模型进行了行业标准的评估。这些评估能够跨模型进行清晰比较，衡量 AI 进步的速度，并且——尤其是在新颖的、外部开发的评估中——提供了一个良好的指标，确保我们不是在仅仅针对自己的测试进行训练。
在进行这些评估时，一个突出的点是多次运行评估的重要性。即使对于一大组评估任务来说计算成本很高，但它能更好地捕捉一个动机明确的攻击者或防御者在任何特定现实问题上的行为。这样做不仅揭示了 Claude Sonnet 4.5 令人印象深刻的表现，也揭示了几代更早的模型的表现。
Cybench 评估
Cybench
我们追踪了一年多的评估之一是 Cybench，这是一个源自 CTF 竞赛挑战的基准测试。¹ 在这个评估中，我们看到 Claude Sonnet 4.5 取得了显著进步，不仅超越了 Claude Sonnet 4，甚至超越了 Claude Opus 4 和 4.1 模型。也许最引人注目的是，Sonnet 4.5 在每个任务尝试一次的情况下，其成功概率高于 Opus 4.1 在每个任务尝试十次的情况。构成此评估的挑战反映了相当复杂、持续时间长的工作流程。例如，一个挑战涉及分析网络流量、从流量中提取恶意软件、并对恶意软件进行反编译和解密。我们估计，一个熟练的人类专家至少需要一个小时，甚至可能更长；而 Claude 用了 38 分钟解决它。
当我们给 Claude Sonnet 4.5 在 Cybench 评估中 10 次尝试机会时，它在 76.5% 的挑战中成功。这一点尤其值得注意，因为在过去六个月里，我们将这个成功率翻了一番（2025 年 2 月发布的 Sonnet 3.7，在 10 次尝试时成功率仅为 35.9%）。
CyberGym 评估
CyberGym
在另一项外部评估中，我们在 CyberGym 上评估了 Claude Sonnet 4.5。CyberGym 是一个基准测试，用于评估智能体（1）在给定弱点高级描述的情况下，在真实开源软件项目中找到（先前已发现的）漏洞的能力，以及（2）发现新的（先前未发现的）漏洞的能力。² CyberGym 团队此前发现，Claude Sonnet 4 是他们公开排行榜上最强的模型。
Claude Sonnet 4.5 的得分显著高于 Claude Sonnet 4 或 Claude Opus 4。当使用与 CyberGym 公开排行榜相同的成本约束（即每个漏洞的 LLM API 查询费用上限为 2 美元）时，我们发现 Sonnet 4.5 取得了 28.9% 的最新最优成绩。但真正的攻击者很少受到这种限制：他们可以尝试多次攻击，每次试验的成本远高于 2 美元。当我们移除这些约束，给 Claude 每个任务 30 次尝试机会时，我们发现 Sonnet 4.5 在 66.7% 的程序中重现了漏洞。尽管这种方法的相对价格更高，但绝对成本——尝试一个任务 30 次大约需要 45 美元——仍然相当低。
同样有趣的是 Claude Sonnet 4.5 发现新漏洞的比率。虽然 CyberGym 排行榜显示 Claude Sonnet 4 仅在大约 2% 的目标中发现新漏洞，但 Sonnet 4.5 在 5% 的情况下发现了新漏洞。通过重复试验 30 次，它在超过 33% 的项目中发现了新漏洞。
关于修补的进一步研究
Further research into patching
我们还在进行关于 Claude 生成和审查修复漏洞补丁能力的初步研究。修补漏洞比发现漏洞更难，因为模型必须进行精确的修改，在移除漏洞的同时不改变原有功能。在没有指导或规范的情况下，模型必须从代码库中推断出预期的功能。
在我们的实验中，我们要求 Claude Sonnet 4.5 根据漏洞描述以及程序崩溃时的相关信息，为 CyberGym 评估集中的漏洞生成补丁。我们使用 Claude 来评判其自身的工作，要求它通过将提交的补丁与人工编写的参考补丁进行比较来评分。15% 的 Claude 生成的补丁被认为与人工生成的补丁在语义上等价。然而，这种基于比较的方法有一个重要的局限性：因为漏洞通常可以通过多种有效方式修复，与参考补丁不同的补丁可能仍然是正确的，这会导致我们评估中的假阴性。
我们手动分析了一组得分最高的补丁样本，发现它们在功能上与已合并到 CyberGym 评估所基于的开源软件中的参考补丁完全相同。这项工作揭示了一个与我们更广泛的发现一致的模式：Claude 在整体能力提升的同时，也发展了与网络安全相关的技能。我们的初步结果表明，补丁生成——就像之前的漏洞发现一样——是一种涌现能力，可以通过有针对性的研究来增强。我们的下一步是系统地解决我们已经识别出的挑战，使 Claude 成为一个可靠的补丁作者和审查者。
与值得信赖的合作伙伴交流
Conferring with trusted partners
现实世界中的防御性安全在实践中比我们的评估所能捕捉到的要复杂得多。我们一直发现，真实问题更复杂，挑战更艰巨，实现细节至关重要。因此，我们认为与那些实际使用 AI 进行防御的组织合作，获取关于我们的研究如何加速他们工作的反馈非常重要。在 Sonnet 4.5 发布前夕，我们与许多组织合作，他们将模型应用于其真实挑战，领域包括漏洞修复、测试网络安全和威胁分析。
HackerOne 的首席产品官 Nidhi Aggarwal 表示：“Claude Sonnet 4.5 将我们 Hai 安全代理的平均漏洞接收时间减少了 44%，同时将准确率提高了 25%，帮助我们自信地降低了企业的风险。” CrowdStrike 的数据科学高级副总裁兼首席科学家 Sven Krasser 表示：“Claude 在红队测试中显示出强大的潜力——它能生成创造性的攻击场景，加速我们研究攻击者战术的过程。这些见解增强了我们在端点、身份、云、数据、SaaS 和 AI 工作负载方面的防御能力。”
这些评价让我们对 Claude 在防御性应用方面的潜力更加有信心。
下一步是什么？
What's next?
Claude Sonnet 4.5 代表了一次有意义的进步，但我们知道它的许多能力仍处于初级阶段，尚未达到安全专业人员和既定流程的水平。我们将继续努力改进我们模型的防御相关能力，并增强保护我们平台的威胁情报和缓解措施。事实上，我们已经利用调查和评估的结果，不断改进我们捕捉模型被滥用于有害网络行为的能力。这包括使用组织级摘要等技术，以理解超越单个提示和完成的更宏观图景；这有助于将双重用途行为与恶意行为区分开来，特别是对于涉及大规模自动化活动的最具破坏性的用例。
但我们相信，现在是尽可能多的组织开始尝试 AI 如何改善其安全态势，并构建评估来衡量这些收益的时候了。 Claude Code 中的自动化安全审查展示了 AI 如何集成到 CI/CD 流水线中。我们特别希望让研究人员和团队能够在安全运营中心（SOC）自动化、安全信息和事件管理（SIEM）分析、安全网络工程或主动防御等领域实验应用模型。我们希望看到并使用更多针对防御能力的评估，作为不断增长的第三方模型评估生态系统的一部分。
但是，即使构建和采用有利于防御者的方案也只是解决方案的一部分。我们还需要讨论如何使数字基础设施更具韧性，以及如何通过设计确保新软件的安全性——包括借助前沿 AI 模型的帮助。我们期待与行业、政府和公民社会进行这些讨论，因为我们正处在一个 AI 对网络安全的影响从未来担忧转变为当下要务的时刻。
💡 译者注：
- CTF（Capture-the-Flag）夺旗赛是一种网络安全竞赛，参赛者需要寻找并利用系统中的漏洞来获取“旗帜”。
- APT（Advanced Persistent Threat）高级持续性威胁，通常指由国家支持的有组织、长期潜伏的网络攻击活动。