直播中|Claude垫底,GPT表现不佳,PhAI Labs用DiscoveryRSI探索科研Agent自我进化
Claude,竟然排在最后? PhAI Labs 最新公布了一项 AI 研究能力对照,结合后续发表的科学文献,考察不同模型提出的研究假设能否为未来的研究思路与探索方向提供启发。报告所列的 Claude Opus 5 组对应比例为 2.3%,排在图中五个模型组的末位。GPT 组为 2.5%,GLM 为 2.8%,DeepSeek 为 5.4%。 排在最前面的,是 DiscoveryRSI:6.3%,约为 GPT 组的 2.5 倍、Claude 组的 2.7 倍。 图 1|五个模型组对未来研究的启发:DiscoveryRSI 总体比例为 6.3%。 这项比较观察的是:AI 提出的研究假设,能否在后续发表的论文中找到具体的研究依据。例如,一个能够采用的实验对照、一种测量方法,或一个值得进一步检验的证据缺口。这里的 “后续” 以各模型组记录的时间界限为起点。 这对应着一项更通用的研究能力: 提出有价值、可检验的研究假设,并将它发展为能够实际开展的研究。 一项研究需要从值得探索的假设出发,逐步形成可行的调查与验证方案。研究问题从哪里来,为什么值得做,哪些证据能够改变判断,都需要在探索中不断明确。 围绕这一任务,PhAI Labs 联合多家高校与研究机构提出 DiscoveryRSI 。论文由 23 位 AI 和科学领域的作者共同完成,包含国内外 16 个机构署名 ,汇集斯坦福大学、MIT、哈佛医学院、北京大学、牛津大学、普林斯顿大学等机构的研究力量。 合作研究作者包括 斯坦福大学副教授 James Zou,以及 MIT 计算生理学实验室临床研究主任、哈佛医学院医学副教授 Leo Anthony Celi 。Celi 作为 MIMIC 数据发起人和 PI,他的团队建设并维护了 MIMIC 数据库,为临床数据研究提供了重要基础。两位研究者均为这篇论文的通讯作者。 这项工作将研究问题的形成与 Agent 的持续学习联系起来:模型需要提出经得起讨论的研究方案,在数据与证据的约束下不断修订,并接受专业人工评价。 论文:https://arxiv.org/abs/2610.23839 代码:https://github.com/Gen-Verse/DiscoveryRSI 模型:https://huggingface.co/collections/Gen-Verse/discoveryrsi 与此同时, PhAI Labs 正在开展为期三天的 DiscoveryRSI 技术直播,欢迎进入直播间观看 。 直播更直观地呈现科研 Agent 如何发现问题、发展假设、形成可检验的研究方案。更重要的是,检验科研 Agent 提出的假设能否启发未来的研究。 对于希望理解 AI 如何真正参与科学发现的研究者和技术开发者,这也是一次从论文方法走向具体科研过程的机会。 直播入口 :https://foundry-arena.rsi-arena.workers.dev/arena 01|DiscoveryRSI: 从提出研究假设,到从超长程研究中学习 提出一个好假设,还不足以让科研 Agent 持续成长。 在一次研究中,Agent 可能补充了关键对照,也可能发现原有方案无法用现有数据检验。假设不断变化,研究经验随之积累。但如何把这些经验变成模型下一次还能用上的能力,仍然具有挑战。 DiscoveryRSI 为此提出一套面向科学发现的递归自我改进范式,让假设发展过程成为模型学习的来源。 系统首先将研究假设与检验方案共同组织起来。每个假设需要明确研究论断、检验方法、判定标准和替代解释,说明这个问题为什么值得研究,以及什么结果能够支持或削弱原有判断。 不同版本被保存在研究假设树中。多智能体围绕已有方向持续演化、修复缺陷,必要时组合不同思路或重新开始。每次修改所依据的文献、数据和研究决策,也被一并记录。 图 2|DiscoveryRSI:研究假设树、贡献归因与模型和工作流的递归改进。 有了这些记录,系统便可以进一步追溯研究进展来自哪里。 Hypothesis Credit Optimization(假设贡献归因与优化) 将科学评价连接到有记录支持的具体贡献,再把有效行为转化为不同权重的训练目标。 一个 Agent 找到了关键证据,另一个提出必要对照,后续修订修复了研究设计的缺陷,这些贡献可以被分别识别,用于指导模型优化。 团队基于这一机制训练了 DiscoveryRSI-27B。 改进还可以发生在工作流上。Harness Replay 在模型保持不变时,回看重复探索、工具失败或上下文丢失等问题,测试有针对性的调整。Rediscovery 将经过评估的更新用于新的研究任务,继续积累经验。这些机制共同构成了跨研究轮次学习的框架。 与之配套的 DFM-Bench 将评价范围从单个假