arXiv cs.AI· Yuexi Pan, Yongchao Chen·· 14 小时前AI 评分31
SciValidityBench：面向科学智能体记忆的“使用有效性”基准
The Right Fact, the Wrong Decision: SciValidityBench for Scientific Agent Memory
AI 导读
研究者提出 SciValidityBench，一个可执行基准工厂，含 64 个 TaskSpecs，覆盖五个有效性模块与六个科学领域，用于检验智能体记住的事实是否“有资格”影响决策。配套 SciStateForge 编译器-读取器框架将分布式历史转为显式决策治理状态，在四个模型家族上相比通用 Event Graph 提升有效决策 9.2-18.8 个百分点，且仅靠检索无法复现该增益。
正文 · AI 翻译
摘要：大多数智能体记忆基准将长期记忆视为检索问题：智能体能否从漫长且不断演变的历史中找回相关记录？科学智能体面临更严格的问题：一个被正确记住的事实，在使用时仍可能无效。同一项已报告的测试结果，当结果和停止规则事先确定时，可以支持确认；而当结果是从二十项检查结果中挑选出来时，则只能支持探索。我们称之为科学使用有效性：在支配其解释的状态下，被记住的证据是否有资格影响决策。我们提出 SciValidityBench，一个可执行的基准工厂，包含 64 个 TaskSpec，覆盖五个有效性模块和六个科学领域。TaskSpec 将生成的实验历史与科学状态定义、程序化决策判定器、受控干预和自动评分相结合。SciStateForge 编译器-读取器框架将分布式历史转化为显式的决策支配状态。反事实配对和定向损坏-修复对照随后测试模型是否使用这些依赖关系，并定位失败之处。在四个模型系列中，编译后的科学状态相比通用事件图将有效决策提升了 9.2 至 18.8 个百分点。仅靠检索无法复现这种跨模型系列的增益，而内容相同的扁平视图和类型化视图表明，改进来自暴露支配状态，而非特定的图序列化方式。因此，SciValidityBench 将记忆评估从寻找正确事实转向判断该事实是否应支配决策。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.34767 [cs.AI] |
| （或 arXiv:2610.34767v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34767 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuexi Pan [查看邮箱]
[v1]
2026年10月26日星期一 03:12:57 UTC（295 KB）
来源：arXiv cs.AI · arxiv.org