Aug 21, 2025阅读全文请访问 red.anthropic.com
核技术本质上具有双重用途（dual-use）：为核反应堆提供动力的同一物理原理，也可能被滥用于武器开发。随着人工智能模型的能力不断增强，我们需要密切关注它们是否会以可能威胁国家安全的方式，向用户提供危险的技术知识。
与核武器相关的信息尤为敏感，这使得私营公司独自评估这些风险充满挑战。正因如此，去年四月我们与美国能源部（DOE）下属的国家核安全管理局（NNSA）合作，评估我们的模型在核扩散方面的风险，并继续与他们共同开展这些评估工作。
现在，我们已超越风险评估阶段，着手构建监测风险所需的工具。我们与 NNSA 及 DOE 国家实验室共同开发了一个分类器（classifier）——一种能够自动对内容进行分类的人工智能系统——在初步测试中，该系统能够以 96% 的准确率区分令人担忧的核相关对话与良性对话。
作为我们识别模型滥用行为的更广泛系统的一部分，我们已将该分类器部署到 Claude 的流量中。早期部署数据表明，该分类器在实际的 Claude 对话中表现良好。
我们将与前沿模型论坛（Frontier Model Forum，前沿人工智能公司的行业组织）分享我们的方法，希望这一合作能够成为一份蓝图，供任何人工智能开发者参考，与 NNSA 合作实施类似的安全保障措施。
除了保护前沿人工智能模型免受核滥用的具体重要性之外，这一开创性的努力还展示了公私合作的力量。这些合作将产业界和政府互补的优势结合起来，直面风险，使人工智能模型对所有用户而言更加可靠和值得信赖。
💡 译者注：关于我们与 NNSA 合作及安全保障开发的全部细节，可在 red.anthropic.com 博客上查阅。该博客是 Anthropic 前沿红队（以及偶尔其他团队）关于前沿人工智能模型对国家安全影响的研究阵地。点击此处阅读更多。