arXiv cs.CL· Bingsen Chen, Boyan Li, Ping Nie, Yuyu Zhang, Xi Ye, Chen Zhao·· 11 小时前AI 评分44
研究揭示 Deep Research Agents 在多轮报告修订中不可靠
Beyond Single-shot Writing: Deep Research Agents are Unreliable at Multi-turn Report Revision
AI 导读
新基准 Mr Dre 将多轮报告修订设为 Deep Research Agents 的新评测维度，包含覆盖全面性、事实性与呈现质量的长文评测协议及人工核验的反馈模拟流程。对五款 DRA 的分析显示，智能体虽能处理大部分用户反馈，却会回退 16-28% 此前已覆盖的内容与引用质量。多轮修订后即使表现最好的智能体仍有明显提升空间，且提示词工程与专用修订子智能体等推理时修复手段难以解决该问题。
正文 · AI 翻译
摘要：现有的深度研究智能体（DRA）基准将报告生成视为单次写作任务，这与人类研究者通过自我反思或同行反馈迭代起草和修订报告的方式存在根本差异。DRA 能否根据用户反馈可靠地修订报告仍未被探索。我们提出 Mr Dre，一个评估套件，将多轮报告修订确立为 DRA 的新评估维度。Mr Dre 包含：(1) 一个统一的长篇报告评估协议，涵盖全面性、事实性和呈现方式；(2) 一个经人工验证的反馈模拟流水线，用于多轮修订。我们对五个多样化 DRA 的分析揭示了一个关键局限：虽然智能体能够处理大多数用户反馈，但它们也会在 16-28% 的先前已覆盖内容和引用质量上出现回退。在多个修订轮次中，即使表现最好的智能体也仍有显著提升空间，因为它们持续破坏反馈范围之外的内容，且无法保留先前的编辑。我们进一步表明，这些问题难以通过推理时修复手段（如提示工程和专用于报告修订的子智能体）轻易解决。
| 评论： | ACL 2026（SAC 亮点奖）。43 页。代码与数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.13217 [cs.CL] |
| （或 arXiv:2601.13217v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2601.13217 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 第 64 届计算语言学协会年会论文集（第 1 卷：长论文），第 13325-13356 页，加利福尼亚州圣地亚哥，2026 年 7 月 |
| 相关 DOI： | https://doi.org/10.18653/v1/2026.acl-long.609
链接到相关资源的 DOI |
提交历史
来自：Bingsen Chen [查看邮箱]
[v1]
2026 年 1 月 19 日星期一 16:48:45 UTC（459 KB）
[v2]
2026 年 11 月 2 日星期一 08:51:59 UTC（473 KB）
来源：arXiv cs.CL · arxiv.org