Evaluating Claude’s bioinformatics research capabilities with BioMysteryBench
Apr 29, 2026
在这篇文章中，发现团队的研究员 Brianna 分享了近期生物信息学基准测试工作的成果。
几乎在大语言模型能够进行对话的同时，人们就开始询问它们与人类专家相比表现如何。模型能通过律师资格考试吗？能回答医学执照问题，或解决奥林匹克数学难题吗？这类基准测试——由人工审核过的问题组成的独立测试集，用于评估模型某项能力——如今已成为 AI 开发者之间的竞争焦点，在模型发布系统卡中报告，并在众多在线排行榜上追踪。
抛开竞争不谈，基准测试帮助我们解决一个重要问题：模型是否足够强大和可靠，能够支持甚至产出专业级别的工作。科学家们正在使用模型编写分析管道的代码、提出假设，并从数据中得出结论，其长期目标是加速创新与发现。但 AI 在科学领域的熟练程度究竟如何？Claude 和其他模型的进步速度有多快？
为了回答这个问题，研究社区构建了多个基准测试。MMLU-Pro 测试专家级的知识与推理问题。GPQA 提出生物学、物理学和化学领域的研究生级别、"谷歌无法直接回答"的问题。LAB-Bench 测试生物学特定的知识工作——阅读文献、解读图表、推理实验方案。尽管这些基准测试是在"聊天机器人"时代开发的，但它们延续到了智能体和工具使用时代，并加入了更困难的科学推理评估，如 FrontierScience 和 Humanity's Last Exam，因为知识和推理仍然是科学能力的重要衡量标准。
然而，许多现实世界的科学任务需要的远不止这些。它们需要阅读论文、查询数据库、运行实验、编写代码和分析。既然模型现在能够完成其中许多工作，基准测试也随之演变以反映这些工作流程。BLADE 向模型提供一个数据集和一个开放式任务，并检查模型是否采取了与人类科学家相似的分析步骤。BixBench 使用生物数据集，并根据模型的结论是否与科学家一致来评分。在 SciGym 中，模型被放入一个模拟生物学实验室，必须自行设计和运行实验，以揭示隐藏的机制。
这些基准测试让我们更接近衡量科学能力，但它们并未真正测试模型能否为定义研究的那些混乱、开放式问题设计创造性解决方案。这就是我们开发 BioMysteryBench 的原因——这是一个生物信息学基准测试，要求 Claude 分析真实世界的数据集，同时应对评估复杂且嘈杂的生物系统所固有的挑战。我们发现，Claude 在生物学方面的科学能力在几代模型之间迅速提升，当前模型的表现与人类专家相当，而最新一代模型解决了许多人类专家小组无法解决的问题，有时还使用了截然不同的策略。
科学具有挑战性，评估科学同样如此
Science is challenging, and so is evaluating it
医生有执业医师考试，律师有律师资格考试，但成为科学家并没有标准化测试。AI 领域也面临同样的问题。尽管我们迫切希望将这些模型用于科学，但还没有一个智能体科学基准测试能像 SWE-bench 在软件工程领域那样成为权威标准。我们认为，这是因为科学研究，尤其是生物学，具有若干特性，使其特别难以通过基准测试进行评估。
1. 在生物学中，完成一件事有许多不同的"正确"方法
如果回答一个研究问题只有一种正确方法，那么博士生几个月就能拿到学位，企业研发部门将不复存在，科学展海报也不需要"方法"部分。科学家如何解决问题取决于他们的技能和背景、可用资源以及研究品味。
考虑一个看似简单却困扰代谢研究人员多年的问题：为什么有些 2 型糖尿病患者对口服药物二甲双胍有反应，而另一些则没有？为了回答这个问题，你可以对反应者与非反应者进行全基因组关联研究，寻找预测性遗传变异；或者对两组患者的肠道微生物组进行测序，因为二甲双胍部分由肠道细菌代谢。两者都是合理的方向，如何推进通常只取决于专业知识和资源。
BixBench 通过根据模型的结论而非得出结论的方法来评分，很好地处理了这一点。但代价是，这些结论是由单个科学家做出的，他们在过程中做出了一系列主观选择，这些选择可能塑造了答案本身。而这又带来了自身的陷阱……
2. 个体研究决策高度主观，在嘈杂数据集中可能导致截然不同的结论
即使在选定的研究方向内，个体决策也可能高度主观：一位科学家可能认可某个决策，而另一位研究人员可能强烈反对。问问那些在同行评审中收到相互矛盾建议的沮丧作者就知道了！更困难的是，生物数据集通常噪声很大，以至于研究决策的微小差异可能导致对数据得出完全不同的结论。
在长达十年的寻找二甲双胍反应预测因子的过程中，研究设计的细微差异导致了对二甲双胍反应的截然不同的结论。2011 年的一篇论文报告了一个预测二甲双胍反应的变异，该变异在两个队列中得到复制，并涉及一个涉及 AMPK 激活的合理机制。一年后，糖尿病预防计划在糖尿病前期患者中测试了相同的变异，结果一无所获。最终，2012 年的一项荟萃分析没有启动自己的研究，而是汇集了五个队列，再次认定 2011 年论文的效果是真实的，但比最初报告的要温和。
SciGym 处理这种模糊性的巧妙方法是选择具有明确定义答案的任务。由于底层生物网络是一个模拟器，因此存在真实答案，噪声是可控的，而非继承自混乱的活体系统。然而，在模拟实验室中的表现能在多大程度上反映真实数据上的表现，尚不清楚。
3. 存在许多人类尚无法回答的生物学问题
模型可能产生最大影响的研究任务，正是那些人类尚未解决的问题。而最终，这些正是我们希望能够评估模型的任务。例如，二甲双胍的作用机制是什么？在其开发三十年后的今天，该领域仍不确定其主要靶点。发现它，或找到一种合成成本更低、更稳定的二甲双胍类似物，将产生巨大影响。
机器学习长期以来一直通过依赖实验数据而非专家直觉，来解决人类表现不佳的问题，如序列预测和蛋白质建模。ProteinGym 使用深度突变扫描实验作为真实答案来评估模型对突变适应性效应的预测，而长期举办的 CASP 竞赛则针对未发表的晶体结构评估蛋白质折叠预测。两者都基于实验测量，没有专家会相信自己能重现这些测量。然而，这些基准测试围绕一组狭窄的任务构建，并未涵盖我们实际想要衡量的生物信息学工作的广度。
使用 BioMysteryBench 在可验证的生物任务上对模型进行基准测试
Benchmarking models on verifiable biological tasks with BioMysteryBench
由于没有基准测试能完美应对上述三个挑战，我们开发了 BioMysteryBench。BioMysteryBench 使用混乱的真实世界生物信息学数据，同时不允许这些数据固有的复杂性和挑战损害评估的质量。
BioMysteryBench 包含来自生物信息学各个领域的 99 个问题，由领域专家编写。专家们被指示收集数据集，并根据数据中可控的客观属性（而非无法验证的科学结论）创建问题。通过从实验或临床发现中推导答案，可以在不要求问题必须由人类可解的情况下开发问题。
尽管这些问题源自经过验证的真实答案，但它们仍然具有研究科学家想要解决的任务的相同风味。Claude 被分配每个问题，并被放入一个容器中，其中包含一组最小的标准生物信息学工具、通过 pip 和 conda 安装额外工具的能力，以及访问标准生物信息学数据库（如 NCBI 和 Ensembl）以下载参考基因组等额外资源的权限。
BioMysteryBench 具有一组独特的四重属性，使其成为科学领域特别强大的基准测试，并能应对上述挑战：
- 方法无关，允许研究自由和创造力。 Claude 被授予相对不受限制的权限来下载工具和访问数据库，允许 Claude 选择多样化的策略来解决问题。此外，轨迹根据最终答案进行评分，而非模型到达答案的路径。这使得 BioMysteryBench 摆脱了任何单个研究人员的主观选择——模型因得出正确的生物学结论而获得奖励，无论它们选择了哪种分析路径。
- 问题具有客观的真实答案。 答案并非来自科学家的结论（这些结论存在上述挑战），而是来自数据的可控属性，或经过正交验证的元数据。例如，"这个晶体结构属于哪种生物体？"有一个客观答案，而"根据 RNA-seq 数据，人类患者感染了哪种病毒物种？"是一个样本的元数据属性，已通过 PCR 检测验证。
- 允许"超人类"的问题生成。 通过从数据的可控属性中获取问题，BioMysteryBench 不依赖于人类能够解决问题。特别是，BioMysteryBench 包含少量问题，尽管具有客观的真实答案，但人类发现难以或无法自行解决。
示例问题
Example questions
在开发此评估时，问题主要源自原始或最低限度处理的 DNA 或 RNA 测序数据，因为这是许多生物处理管道的起点（WGS、scRNA-seq、甲基化、ChIP-seq、宏基因组学、Hi-C），并且还包括一些来自蛋白质组学和代谢组学的问题。
开发者提出的问题包括：
- 这个单细胞 RNA-seq 数据集源自哪种人体器官的细胞类型？
- 根据 RNA-seq 数据，与对照样本相比，实验样本中哪个基因被敲除了？
- 根据 WGS 序列，哪个样本是样本 X 的母亲，哪个样本是父亲？
- 哪些 bigWig 文件来自 ChIP 样本，哪些来自输入对照？
- 给定未知细胞类型的 H3K27ac ChIP-seq 峰，识别该细胞类型。
为了在尽量减少本质上无法解决的问题的同时，为 AI 可能解决的问题留出空间，我们要求每个问题作者提交一个验证笔记本，证明信号确实存在于数据中（即使从头开始找到它可能很困难）。可以将其视为高中数学原则：验证答案比推导答案容易得多。
人类基线测试
Human baselining
人类可解问题
对于每个问题，我们要求最多五位领域专家从头开始回答问题。一旦至少有一位人类正确回答了问题，我们就认为它是人类可解的。BioMysteryBench 包含 76 个这样的任务。
有时 Claude 会模仿人类的策略。也许是因为人类已经找到了接近最优的方法，或者因为该方法在预训练数据中得到了很好的体现。
示例 1 示例 2
有趣的是，Claude Sonnet 4.6 和更强大的模型能够解决相当一部分人类困难问题，其中 Claude Mythos Preview 的解决率最高达到 30%。那么，Claude 到底做了哪些人类没有做的事情呢？
Claude 的策略
Claude’s strategies
通过分析 Opus 4.6 的转录记录，我们确定了 Claude 与人类相比使用的两种主要策略：一种是相当 AI 特有的——Claude 庞大的底层知识库包含来自数十万篇论文的结构生物学、分子谱和荟萃分析信息。另一种策略是我们人类科学家可以学习的：当 Claude 对答案不确定时，它会叠加多种方法并组合不同的证据线索来得出结论。
无所不知
在一些人类困难任务中，Opus 庞大的底层知识库帮助它解决了问题。那些需要人类专家运行荟萃分析或拼接数据库的任务，Opus 通过将其内部关于机制和本体的知识与实时分析相结合直接解决。这常常使 Claude 能够解决人类无法解决的任务！以下是一些示例：
示例 1 示例 2 示例 3
"解决"的质地在这两个集合之间发生了急剧变化。在人类可解问题上，Opus 4.6 呈现强烈的双峰分布——它解决的 86% 的问题，至少 5 次中解决了 4 次。它要么有答案，要么没有。在人类困难集上，这一比例降至 44%，而脆弱成功（5 次尝试中仅解决 1-2 次）的份额从 9% 跃升至 44%。Sonnet 4.6 显示出相同的变化，且更为剧烈（可靠率 75% → 22%；脆弱率 9% → 56%）。因此，77.4%→23.5% 的总体下降实际上低估了正在发生的事情：在可解问题上，模型在检索它可靠知道的东西，而在困难问题上，近一半的成功是它偶然发现的路径，而非可复现的路径。准确率差距是真实的，但其背后的可靠性差距才是更有趣的故事，它揭示了能力前沿的实际位置。Opus 4.7 和 Mythos 将前沿稍微推进了一点（Mythos 在可解问题上的成功中，94% 达到 ≥4/5），但每个模型在困难集上都存在相同的双峰与脆弱之分。
我们认为 Claude Mythos Preview 的分析站得住脚，并且深入探讨了可靠性——这是衡量模型性能的重要指标。然而，这也有点……无聊？它为我们上面展示的性能分析增加了一些细微差别，但并未从根本上解决一个新问题。尽管如此，模型似乎开始发展研究品味的萌芽（尽管在产生深刻见解之前还有很长的路要走）。
持续为科学进行 AI 基准测试
Continuing to benchmark AI for science
BioMysteryBench 是衡量科学能力的一个令人鼓舞的指标。最新几代 Claude 可靠地解决了大多数人类可解问题，并且在相当一部分人类困难任务上，其表现优于由五位领域专家组成的小组。模型在各代之间不断改进，在生物信息学问题上不再仅仅是跟上训练有素的科学家；在某些任务上，它们已经领先。
我们也很高兴看到该领域的趋同工作：在最终确定这篇文章时，Genentech 和 Roche 发布了 CompBioBench。他们的基准测试包含 100 个计算生物学任务，"基于合成/增强数据和真实数据集的元数据打乱/清洗，以创建具有单一真实答案的挑战性问题，这些问题需要多步推理、工具使用、定制代码以及与真实世界外部资源的交互。"听起来很熟悉？他们的结果也与 BioMysteryBench 的结果相呼应：Claude Opus 4.6 总体达到 81%，在最难问题上达到 69%，这强化了前沿模型现在确实是生物信息学研究中真正有用的协作者这一观点。
我们渴望构建更长期、更现实的任务来推动模型的研究能力，并期待听到其他人的创意想法。请将您有趣的基准测试、AI 在科学中的创新应用，以及促使您重新思考所在领域可能性的 AI 互动，发送至 scienceblog@anthropic.com。
如果您有兴趣了解模型在困难的可验证计算生物学任务上的表现，您可以在此处访问 BioMysteryBench，并访问 claude.com/lifesciences 了解更多信息。