EarthVerse：用自然灾害任务检验科学代理的端到端可靠性

• 类别：研究
• 发布时间：2026-08-24

原始摘要

We introduce EarthVerse, a benchmark that evaluates scientific agents through package-scoped investigations. Its 405 reproducible tasks are grounded in 199 documented events and 19 hazard families. … the best mean answer-unit accuracy is 84.65%, while the highest Strict@95 is only 34.81%.

EarthVerse 面向动态地球系统与自然灾害，要求代理在异构事件资料中选择相容证据、执行可追溯计算、处理来源差异，并在最终答案中保存溯源链。基准提供 405 个可复现任务、199 个已记录事件和 19 类灾害的任务包，以及可执行真值与针对研究过程的量规。作者在受控工具调用协议下评估 25 个模型/代理系统：最佳平均答案单元准确率为 84.65%，但最高 Strict@95 只有 34.81%。

为什么重要

高风险科学场景中，局部步骤做对不足以支持可靠决策；单位、尺度、证据来源或物理解释任一环节失配，都可能改变灾害严重度与暴露判断。该基准把可追溯性纳入代理能力评估。

关键要点

• 评测覆盖证据访问、工具选择、记忆、推理和科学执行的失效点。
• 高平均分与低严格通过率的落差，暴露端到端一致性不足。
• 结果不等同于真实部署表现，但为科学代理评测提供了可复现底座。