arXiv cs.CL· Tiasa Singha Roy, Manya Wadhwa, Greg Durrett·· 2 天前AI 评分42
LLM 研究智能体如何“平滑”论断：SmoothScore 量化报告过度自信
Quantifying Claim Smoothing by LLM Research Agents
AI 导读
LLM 研究智能体生成的长篇研究报告常把多样甚至冲突的来源压缩成单一叙事，得出比引用证据更果断的结论，研究者将这一失败模式称为 smoothing。为此提出论断级评分流程 SmoothScore，先抽取报告中的关键结论性论断，再检索相关证据并按高层方面聚类，最后逐条打分量化平滑程度。在 7 个系统和 4 个数据集上测试，智能体一致地给出强于证据支撑的论断。
正文 · AI 翻译
摘要：深度研究，即任何使用大语言模型（LLM）阅读大量文档集合并产出洞见的过程，都需要综合来自不同来源的信息。在本工作中，我们发现 LLM 会生成读起来像是自信综合的长篇研究报告，但实际上未能准确反映底层文档。我们将这种失败称为平滑化（smoothing）。在将多样且可能相互冲突的来源压缩为单一叙述时，模型丢弃了其语料的证据“崎岖性”，并给出比引文所能支持的更为决断的结论。我们引入了一个论断级评分流程 SmoothScore 来量化这一效应。我们的流程从模型生成的报告中提取关键结论性论断，然后为每个论断找到相关证据，并沿高层方面对这些证据进行聚类。最后，每个论断都相对于证据进行评分，以量化智能体所做的平滑化程度。在 7 个系统和 4 个数据集上，我们发现智能体一致地给出比应有依据更强的论断。
| 评论： | 代码和数据见：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35793 [cs.CL] |
| （或 arXiv:2610.35793v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.35793 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tiasa Singha Roy [查看邮箱]
[v1]
2026年10月26日星期一 17:29:48 UTC（3,217 KB）
来源：arXiv cs.CL · arxiv.org