arXiv cs.CL· Sergio Burdisso, Esa\'u Villatoro-Tello, Dairazalia S\'anchez-Cort\'es, Yanis Labrak, Jordi Luque, Milos Cernak, Petr Motlicek·· 2 天前AI 评分31
DialFork：评估对话式智能体程序性幻觉的基准
DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents
AI 导读
研究团队推出 DialFork，首个基于原始对话文本衡量"程序性幻觉"的基准——智能体话语流畅且事实合理，却偏离既定对话流程。该基准通过在受控轮次分叉合规对话并注入四类幻觉构建，覆盖 12 个领域 24 项任务共 36,278 段对话，由 30 名人工标注者验证。
正文 · AI 翻译
摘要：作为对话代理部署的大型语言模型（LLM）正日益被期望遵循程序性逻辑。尽管事实性幻觉已受到广泛关注，但另一种失败模式却被忽视了：程序性幻觉，即代理生成的话语单独来看流畅且事实合理，却偏离了预期的对话流程。我们提出 DialFork，这是首个在原始对话文本上衡量该失败模式的基准。DialFork 通过在受控的轮次位置对合规对话进行分叉，并注入四种幻觉类型之一来构建，涵盖 12 个领域的 24 项任务，共 36,278 段对话；30 名人工标注者验证了其构建过程。我们定义了三个评估任务，从三个粒度刻画程序性偏离：一组对话偏离合规对话的程度（监控已部署代理）、单段对话偏离的程度（程序性检索），以及一段对话首次偏离轨道的轮次（实时护栏）。对于前两个任务，我们提出了对话流感知指标 FlowKL 和 FlowScore，它们通过对话的展开方式而非内容来比较对话。在对话层面，FlowScore 在七个编码器上显著优于所有基线，表明语义相似性无法替代程序性相似性。我们以 MIT 许可证在 此 https URL 发布 DialFork，希望社区能在衡量内容的同时也衡量对话过程。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21561 [cs.CL] |
| （或 arXiv:2610.21561v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21561 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sergio Burdisso [查看电子邮件]
[v1]
2026年10月15日星期四 09:18:32 UTC（2,793 KB）
来源：arXiv cs.CL · arxiv.org