PersonaScienceBench：用多样化模拟研究者评估科学智能体
PersonaScienceBench: Evaluating Scientific Agents with Diverse Simulated Researchers
PersonaScienceBench 基准发布，包含来自五个基准、覆盖四个科学领域的 200 个任务，模拟研究者按 persona 画像提供上下文与反馈，任务目标与评分保持不变。在十八种模型配置上，任务表现、事实召回与自我重复呈现不同优势；GPT 6 Astra 的分析显示，即使最终得分相同，智能体在不同研究者画像下的澄清提问与工作流调整行为也可能不同。
作者：Siyang Wu、Weizhi Zhang、Chen Yang、Esther Xu Fei、Jorin Overwiening、Xu Pan、Jing Tang、Yixuan He、Kelvin C. Mo、Peiwen Li、Defu Cao、Xu Hu、Haixin Wang、Taoran Li、Haoming Li、Zheyuan Deng、Jingwen Zhang、Pengsong Zhang、Haichao Zhang、Guangze Luo、Yi Daniel Lu、Zihuai He、Chenxi Qiu、Dianzhuo Wang、Zhejian Peng、Shushu Liang、Wenyi Lu、Yifan Wang、Jintao Huang、Yijun Wang、Xiaomin Li、Yuexing Hao
摘要：科学智能体与专业知识和偏好各不相同的研究人员协作，但基准测试通常将协作者固定不变。我们提出 PersonaScienceBench：包含来自四个科学领域、五个基准测试的 200 项任务。模拟研究人员根据人设档案提供上下文和反馈，而任务目标和评分标准保持不变。智能体仅通过对话接触研究人员的偏好。在十八种模型配置下，任务表现、事实恢复和自我重复展现出不同的优势。详细的 GPT 6 Astra 分析显示，不同研究人员档案下智能体的响应存在明显差异；交互轨迹展示了有针对性的澄清和工作流程修订。即使最终得分相同，这些行为也可能不同。因此，PersonaScienceBench 既评估智能体如何与多样化的研究人员协作，也评估它们是否完成任务。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32106 [cs.AI] |
| （或 arXiv:2610.32106v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32106 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siyang Wu [查看电子邮件]
[v1]
2026年10月23日星期五 03:11:01 UTC（237 KB）
来源：arXiv cs.AI · arxiv.org