介绍 LifeSciBench
Introducing LifeSciBench
2026年6月17日
研究·出版物
LifeSciBench
一个由专家编写、专家评审的基准测试，立足于真实世界的生命科学研究
阅读论文
（在新窗口中打开）加载中…分享
代理型 AI 系统（Agentic AI systems）在执行科学任务方面的能力日益增强。然而，它们对生命科学研究人员的实用性，取决于它们处理真实研究复杂性的能力。真实的研究工作很少表现为单一的事实回忆问题或一个清晰的预测问题。研究人员需要解读不完整的证据、调和相互矛盾的结果、设计困难的实验、排除检测故障、评估转化风险，并在不确定性下决定下一步行动。
当前的基准测试并未完全捕捉这些能力。许多生命科学评估聚焦于狭窄的领域或孤立的技能，导致问题具有结构化的提问格式和清晰的参考答案。虽然这些评估有价值，但它们往往无法真正评估一个模型是否能在更广泛的研究级工作中做出贡献。
我们设计了 LifeSciBench 来帮助弥合这一差距。每项任务都基于具有博士级培训背景、并在生物技术和制药环境中直接推动药物发现项目的执业生命科学家的判断。
LifeSciBench 包含 750 项由专家撰写的任务，涵盖七个工作流程和七个生物学领域。
1,062 项任务工件 173 位科学家贡献者 19,020 条评分标准 453 位专家评审员
LifeSciBench 衡量什么
What LifeSciBench measures
LifeSciBench 衡量的是 AI 系统是否能支持现实的生命科学研究任务，而不仅仅是回答生物学问题。为了定义基准测试的分类法，我们调查了执业生命科学家，了解他们在应用研究环境中最常使用的工作流程。然后，我们将他们的回答归纳为七个反复出现的类别：证据处理、分析、设计与优化、科学推理、验证与操作、转化以及科学沟通。
每项任务的结构都类似于科学家可能向知识渊博的合作者提出的请求：科学提示、任何相关的上下文或工件，以及一个自由形式的回答。由专家编写的评分标准评估模型是否能针对特定问题给出正确答案，并具备科学家所期望的适当详细程度、论证、注意事项和格式。
数据集构建
Dataset construction
LifeSciBench 评估科学推理能力，同时也评估现实世界科学应用所必需的那些定义不那么明确、但实用的技能。其任务要求模型处理现实的研究问题：解读证据、做出基于领域的判断，并传达对专家评审员有用的结论。许多任务还要求模型处理不确定性，并基于支持性数据文件进行推理，而不仅仅依赖提示文本。
该基准测试旨在反映生命科学工作的复杂性。总体而言，79% 的任务需要多个推理或决策步骤，平均每个任务包含四个步骤。LifeSciBench 包含 1,062 个附加工件，涵盖图表、PDF、表格、序列文件、结构或化学文件以及网络参考文献。超过一半的任务（53%）要求模型解读或综合来自至少一个工件的信息。
任务由 173 位来自不同生命科学学科的专家科学家创建。每位科学家都拥有博士级培训背景以及生物技术或制药行业经验。任务在被接受前可以根据需要进行任意轮次的修订，没有固定的轮次上限；被接受的任务平均经历了六轮自主自动化审查循环，并完成了至少两轮专家评审。评审基于可验证的正确答案或强烈的专家共识，相关领域的评审员之间至少有 90% 的一致率。这个过程有助于确保被接受的任务在科学上站得住脚、足够清晰以便评分，并且能代表应用研究。
评分与评分标准详解
Grading and rubric breakdown
LifeSciBench 的任务使用详细的、针对特定任务的评分标准进行评分，该标准将预期的回答分解为具体的科学主张、计算、决策、论证等。在整个基准测试中，专家制定的评分标准包含 19,020 条标准——平均每个任务 25 条——用于评估科学正确性和对研究决策的实用性。
这种设计反映了科学工作在实践中的评估方式：许多生命科学任务不能仅通过检查最终答案来评分。一个回答可能得出正确的高层结论，但如果它忽略了关键的检测局限性，或者未能主动提出一个高度重要的生物学细微差别，那么它仍可能被认为是不完整的。相反，一个部分正确的回答可能包含高质量的推理，即使它没有完全解决任务。
细粒度的评分标准捕捉了这种细微差别。LifeSciBench 不仅评估最终答案的准确性，还评估模型是否以科学有效且在操作上有用的方式得出其答案。
从论文、图表、表格和实验记录中提取、核对和审计科学证据。
评估示例
Eval Example
我们正在为 AAV9-microDys-X 准备 B 型 FDA 会议，这是一种基于 AAV9 的微肌营养不良蛋白基因疗法，用于治疗杜氏肌营养不良症，该疗法从 MCK 启动子表达一个 138 kDa 的构建体。我们希望得到一个严苛的批评，即我们目前的资料包是否真的支持将微肌营养不良蛋白表达作为合理可能预测临床获益的替代终点，从而获得加速批准。
研究背景：一项开放标签的 1b/2 期研究，纳入 12 名 4-7 岁、确诊 DMD 且具有移码杆状结构域缺失的可行走男孩。资料包包括：
- 治疗前股外侧肌活检：使用针对 N 端肌动蛋白结合结构域的 MANEX1A 抗体进行定量 Western blot，结果显示肌营养不良蛋白水平为健康对照组的 0–3%。
- 治疗后 12 周对侧股外侧肌活检：使用相同的 Western blot（通过考马斯亮蓝染色归一化至总蛋白），平均微肌营养不良蛋白为健康对照组的 38%（范围 18–61%）。
- 治疗后免疫荧光：使用多克隆抗肌营养不良蛋白 C 端抗体，在 75–95% 的纤维中观察到肌膜信号。
- 48 周功能：平均 NSAA 评分较基线变化 +1.4 分，而外部发表的自然史登记队列为 -0.6 分（通过非配对 t 检验，p = 0.03）。
- 安全性：8/12 名患者出现短暂性转氨酶升高，通过类固醇逐渐减量控制；一例心肌炎已痊愈；无死亡。
- 生物分布/持久性：12 周时，肌肉中可检测到 AAV9 载体基因组，平均每个细胞核 2.3 个载体基因组。
- 入组标准：基线无抗 AAV9 中和抗体（滴度 <1:400）且无外显子 44 缺失。
请逐项对这个资料包进行压力测试：FDA 或持怀疑态度的评审员会在哪些方面认为，所呈现的证据未能支持我们的结论？如果需要，还需要哪些额外的数据、分析或设计变更来弥补这些差距？对于任何未明确说明的内容，假设截至 2025 年 12 月 31 日，从其他临床级 138 kDa 微肌营养不良蛋白项目和相关临床试验中已知的信息也同样适用。
候选回答
Candidate Response
底线： 按目前呈现的资料，不足以支持将微肌营养不良蛋白表达作为合理可能预测临床获益的替代终点，从而获得加速批准。持怀疑态度的 FDA 评审员可能会认为生物标志物、功能、持久性、安全性和普适性证据在实质上缺乏支持。
| 资料包项目 | 关键失败模式 | 需要什么 |
|---|---|---|
| Western blot 定量 | MANEX1A 结合一个由内源性全长肌营养不良蛋白和微肌营养不良蛋白转基因共享的 N 端表位，因此该检测无法清晰区分转基因与残留/回复突变肌营养不良蛋白。使用健康全长肌营养不良蛋白标准品来定量 138 kDa 的微肌营养不良蛋白也是无效的。 | 使用重组微肌营养不良蛋白标准品和一种能够区分转基因与内源性肌营养不良蛋白的正交方法，例如靶向质谱法或转基因特异性/表位特异性检测。 |
| 免疫荧光 | C 端多克隆抗体非常不适合，因为 138 kDa 构建体缺乏 C 端结构域。许多 DMD 患者有回复突变纤维，回复突变的肌营养不良蛋白可以保留 C 端表位。回复突变纤维可能随年龄增长而克隆性扩增，从而偏倚 IF 信号，尤其是在年龄较大的男孩中。 | 使用针对转基因中存在但回复突变肌营养不良蛋白中不存在的表位的抗体重复 IF。分别定量转基因阳性纤维和回复突变纤维。 |
| 替代终点有效性 | 该资料包混淆了蛋白质数量与临床功能。“健康对照组蛋白质质量的 38%”并不意味着正常肌营养不良蛋白功能的 38%，因为微肌营养不良蛋白在结构上是截短的。 | 在将表达作为替代终点之前，经验性地验证微肌营养不良蛋白质量百分比、肌膜定位、下游功能恢复和临床获益之间的关系。 |
| 活检设计 | 治疗前后对侧股外侧肌活检引入了左右侧和肌肉内空间变异性。疾病进展和纤维脂肪替代也可能改变总蛋白归一化信号。 | 使用一致的解剖标志标准化活检部位，归一化至肌肉特异性蛋白，并并行测量纤维脂肪组成。 |
| NSAA 比较/统计 | 外部自然史队列不是随机化的同期对照。试验入组标准、支持性护理、参与效应、基线 NSAA、类固醇方案、年龄和外显子类别都可能使比较产生偏倚。非配对 t 检验是不够的。此外，+1.4 的 NSAA 变化在该年龄组的测试-重测变异性范围内。 | 进行随机化的同期安慰剂对照研究，或者至少使用调整了基线 NSAA、年龄、类固醇方案、外显子类别和其他混杂因素的校正分析。 |
| 年龄窗口混杂 | 4-7 岁的男孩处于一个发育窗口期，在此期间，未经治疗的可行走 DMD 患者可能在功能衰退占主导之前获得运动功能。48 周的 NSAA 变化混合了发育增益、疾病进展和可能的治疗效果。 | 使用带有年龄分层的同期随机对照，以区分发育轨迹和治疗效果。 |
| 先前临床先例 | 开放标签的微肌营养不良蛋白功能信号未能可靠地预测确证性获益；已发表的先例包括微肌营养不良蛋白基因疗法的确证性试验未能重现开放标签的 NSAA 改善。 | 不要依赖开放标签的 NSAA 变化作为决定性支持。需要对照的功能性证据。 |
| 构建体的结构限制 | 138 kDa 构建体删除了含有 nNOS 结合位点的血影蛋白重复序列 R16/17。nNOS 招募的丧失会损害运动过程中的功能性交感神经舒缩和缺血保护，从而独立于表达水平产生一个机制上的恢复上限。 | 增加机制研究，以显示该特定构建体是否恢复了相关的肌营养不良蛋白相关复合体功能、nNOS 定位、运动生理学和肌肉保护。 |
| AAV 持久性 | 12 周时的载体基因组并不能证明持久的表达。AAV9 基因组主要是非整合的游离基因，并可能随时间推移而减少。载体基因组的持久性不等于蛋白质表达的持久性。 | 测量超过 12 周的纵向转基因蛋白质表达和功能性生物标志物持久性。 |
| 免疫/安全性概况 | 8/12 名患者的转氨酶升高与对 AAV 转导细胞的免疫反应一致，但机制尚未确定。考虑到 AAV9 的心脏趋向性，一例心肌炎令人担忧。 | 提供更深入的免疫监测、肝脏/心脏安全性表征，并加强心脏随访。 |
| 患者选择/普适性 | 排除抗 AAV9 中和抗体阳性患者限制了普适性。排除外显子 44 缺失限制了对该 DMD 亚组的适用性。n=12 的样本量太小，无法表征更广泛 DMD 人群的安全性和有效性。 | 在可能的情况下放宽入组标准，或者在使用该结果支持广泛批准之前，预先指定按抗体状态、基因型/外显子类别、年龄和基线功能进行分层分析。 |
监管结论： 该资料包可能显示出生物活性，但尚未证明所测量的微肌营养不良蛋白表达是一个可靠且合理可能预测临床获益的替代终点。主要差距在于检测特异性、无效的定量标准、可能的回复突变纤维混杂、缺乏随机对照、与年龄相关的 NSAA 混杂、不确定的持久性以及未解决的安全/普适性问题。
为了弥合差距，该计划需要一个带有年龄分层的对照临床设计，使用转基因特异性表达检测、正交蛋白质定量、组织成分对照、纵向持久性数据、针对截短构建体的机制性功能检测，以及更强的安全性监测，尤其是肝脏和心脏方面。
评分标准与等级
Rubric Criteria & Grades
| 标准 | 分数 |
|---|---|
| 识别微肌营养不良蛋白定量中的检测/测量问题，包括 MANEX1A 表位共享、无效的全长肌营养不良蛋白标准品，以及需要重组或正交的转基因特异性测量。 | +24 |
| 解释为什么微肌营养不良蛋白表达水平自动成为功能性临床获益的有效替代终点。 | +22 |
| 指出削弱表达和 NSAA 解读的活检部位、组织成分和年龄窗口混杂因素。 | +19 |
| 批评 NSAA 比较/统计，特别是依赖外部自然史对照。 | +12 |
| 讨论 AAV 持久性、免疫反应、转氨酶升高、心肌炎，以及需要更长期的表达/安全性随访。 | +15 |
| 指出患者选择/普适性差距，包括抗 AAV9 排除、外显子 44 排除和小样本量。 | +8 |
验证 LifeSciBench
Validating LifeSciBench
我们通过独立的专家评审验证了 LifeSciBench。反馈来自 453 位未参与编写任务的评审员。在这些评审员中，97% 拥有博士学位或同等学历，平均具有 12 年的领域经验和 14 篇同行评审出版物；88% 的人报告至少获得过一项奖项或奖学金。
评审员对每项任务是否反映了强基准问题所需的品质进行评分：与现实世界研究工作的契合度、对科学推理和领域专业知识的适当测试、基于证据或专家共识的程度，以及评估模型性能的整体有用性。每个类别的同意率均超过 96%。
现实世界相关性
Real-world relevance
这项任务是否反映了现实世界中真实的生命科学工作？
强烈同意 90.4% 总体同意 98.3%
科学推理/领域技能
Scientific reasoning / domain skill
这项任务是否测试和评分了正确的科学推理和生命科学领域技能？
强烈同意 86.4% 总体同意 98.1%
科学基础
Scientific grounding
这项任务是否具有科学基础、可回答，并锚定在适当的证据、数据、工件或专家共识上？
强烈同意 77.1% 总体同意 96.5%
整体有用性
Overall usefulness
总体而言，这是一个强大的生命科学评估任务吗？
强烈同意 79.1% 总体同意 96.6%
评审员的评论强化了定量评分：
1 / 3
“总的来说，这是一个强有力的任务，因为它有一个正确的核心解释，同时仍然留有空间，通过回答者如何仔细地界定不确定性来区分更好的答案。” “这是一个极好的提示……它整合了结构生物学、药物化学、受体药理学和配体作用机制的元素。” “它不仅仅是测试模型是否能回忆信息；它测试模型是否能根据当下呈现给它的证据进行推理。”
- 不确定性感知
- 跨领域
- 基于证据
- 不确定性感知
- 跨领域
- 基于证据
结果
Results
我们报告两个互补的指标。通过率是模型在任务级成功阈值达到 70% 的任务百分比。分数是平均评分标准奖励，即使整个任务未解决，也会对单个标准给予部分分数。两者都很重要，因为对科学任务的回答可能是部分正确或有用的，而不必满足完整答案的所有要求。
模型性能因任务类型、工作流程和回答格式而有显著差异。
AI 系统表现出早期优势的领域
Where AI systems show early strength
LifeSciBench 显示，前沿模型在涉及科学综合、沟通和结构化解释的任务上相对最强。绝对通过率仍然不高，因此这些基准领域远未饱和，但 GPT‑Rosalind 显示出比 GPT‑5.5 有意义的进步，将总体精确通过率从 25.7% 提高到 36.1%。
模型能力进步最强劲的方向出现在科学沟通和转化方面。例如，科学沟通的通过率从 GPT‑5.5 的 56.3% 提高到 GPT‑Rosalind 的 71.1%；这个类别很小（n=9），因此应谨慎解读，但它表明前沿模型在组织证据和产生令人信服的面向专家的解释方面的能力正在迅速提高。转化（药物开发的“从实验室到临床”过程）显示出类似的模式，从 GPT‑5.5 的 36.8% 上升到 GPT‑Rosalind 的 57.7%，表明模型在将临床前证据与临床意义联系起来的能力方面正在迅速提高。
评分标准层面的结果指向同一方向。在需要专家有用或可操作输出的任务上，GPT‑Rosalind 得分为 44.7%，而 GPT‑5.5 为 29.1%。在需要处理不确定性和注意事项的任务上，它的得分为 44.8%，而 GPT‑5.5 为 29.3%。这种模式表明，当任务具有清晰的证据边界并需要结构化的科学判断时，模型最为有用。
GPT‑Rosalind 在行业和学术专家确定的具有科学价值的任务上领先性能。
GPT‑Rosalind 在核心生命科学工作流程上的性能优于 GPT‑5.5，在转化和科学沟通方面增益最强。
AI 系统仍然不足的领域
Where AI systems still fall short
在工件密集、设计密集和操作受限的科学工作中，性能仍然弱得多。即，设计、优化与预测仍然是最困难的工作流程之一，GPT‑Rosalind 的通过率为 30.7%；分析同样困难，为 30.3%。
工件使用是一个特别明显的差距。虽然 GPT‑Rosalind 在工件密集环境中的表现优于 GPT‑5.5，但其通过率仍从纯文本任务的 45.1% 下降到包含工件或 URL 的任务的 28.1%。GPT‑5.5 显示出相同的模式，从 29.9% 下降到 21.9%。更详细的分析证实，前沿模型在从复杂图表或大型序列文件中提取信息，并将这些信息整合到最终答案中时存在困难。
当任务需要基于来源的推理或使用工件时，通过率会下降。
答案格式也很重要。需要精确序列、结构或构建体级别输出的任务显示出较低的通过率：GPT‑Rosalind 在数值任务上仅达到 14.8%，在序列或结构输出上达到 24.0%。构建体生成任务也很脆弱，GPT‑Rosalind 为 27.3%，与 GPT‑5.5 相比几乎没有改善。这种差距部分可能反映了精确答案任务更严格的评分标准，其中计算或格式上的微小差异可能导致回答低于通过阈值。尽管如此，这些失败在科学上是有意义的，因为许多生命科学工作流程需要足够精确以直接使用的输出，例如在 CRISPR/HDR 供体设计或 siRNA 设计中。
模型也常常只完成部分工作，而没有完全解决任务。在大约 14% 的任务中，模型尽管未能达到精确通过阈值，但仍获得了可观的评分标准分数。对于 GPT‑Rosalind，有 109 个任务的通过率低于 20%，但至少获得了 50% 的评分标准奖励。在实践中，这意味着模型可能识别出相关证据或产生一个看似合理的部分答案，但仍然失败，因为它们错过了关键约束、使用了错误的证据、进行了不完整的计算，或者没有将它们的推理与科学上有用的最终决策联系起来。
局限性与未来方向
Limitations & what’s next
LifeSciBench 是朝着衡量 AI 系统对生命科学研究有多大用处迈出的一步，但它不能替代在真实研究环境中研究模型。该基准测试侧重于反映反复出现的行业工作流程的独立任务，同时将许多科学专业和任务类型排除在其当前范围之外。真正的研究是迭代的：科学家收集新证据、修正假设、设计后续实验，并根据出现的结果调整他们的计划。
因此，在 LifeSciBench 上的强表现应被解释为现实任务级能力的证据，而不是下游研究影响的直接衡量标准。该基准测试基于行业工作流程，但它并未捕捉到真实研究项目的全部多样性或动态性，在这些项目中，进展取决于随时间展开的因素。
下一步是将基准测试性能与真实研究工作流程中的部署研究联系起来。虽然 LifeSciBench 是与执业科学家一起开发的，但衡量 AI 系统是否加速发现或改善研发成果，将需要在真实研究环境中、在更长的时间范围内、并跨越多轮推理、反馈和实验跟进，来研究模型的使用和性能。
参与其中
Get involved
帮助塑造下一代生命科学 AI 基准测试，或请求访问 GPT-Rosalind。
作为贡献者加入 请求访问
作者
Author
OpenAI
继续阅读
Keep reading
查看全部
一个近乎自主的 AI 化学家改进了药物化学中的一个具有挑战性的反应
研究 2026年6月17日
通过模拟部署来预测发布前的模型行为
研究 2026年6月16日
为更有帮助的 ChatGPT 提供更好的记忆：为更有帮助的 ChatGPT 提供更好的记忆
研究 2026年6月4日