arXiv cs.CL· Man-Ling Sung, Hemanth Kandula, Jeff Ma, William Hartmann, Matthew Snover·· 11 小时前AI 评分25
SAUCE：基于对话蕴含分析的跨语言语音摘要评估流水线
SAUCE: Summary Analysis Using Conversation Entailment
AI 导读
SAUCE 是一个无参考、基于事实的跨语言对话语音摘要评估流水线，通过对话与摘要文本之间的蕴含关系衡量摘要的准确性和事实覆盖度。与黑盒 LLM 评估器和稠密嵌入指标不同，SAUCE 将摘要分数映射到离散、可验证的事实，让用户能定位具体的幻觉或遗漏。初步研究表明 SAUCE 与人类判断高度一致，该工作已被 ACL GEM workshop 接收。
正文 · AI 翻译
摘要：随着评估大型语言模型（LLM）及其语音应用的需求日益增长，在总结和评估缺乏明确最终目标的对话方面仍存在挑战。我们提出 SAUCE——一种面向跨语言对话语音摘要的、无参考的、基于事实的评估流程。它通过对话与文本之间的蕴含关系来衡量摘要的准确性和事实覆盖度。我们将 SAUCE 与若干流行的摘要指标进行比较，并展示了其在捕捉由转录和翻译错误导致的信息丢失以及识别残缺摘要方面的有效性。关键在于，与黑盒 LLM 评估器或稠密嵌入指标不同，SAUCE 本质上是可解释的：它将摘要得分映射到离散、可验证的事实上，使用户能够精确定位确切的幻觉或遗漏。我们说明了这种可解释性如何帮助开发者系统地刻画 LLM 的行为，并为最终用户提供一种可操作的工具，以在嘈杂的真实世界条件下验证摘要的准确性。初步研究表明，SAUCE 与人类判断高度一致。
| 评论： | 已被 ACL GEM 研讨会接收并发表。第五届生成、评估与指标研讨会（GEM）论文集，第 364-377 页，美国加利福尼亚州圣地亚哥。计算语言学协会 |
| 主题： | 计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2611.06812 [cs.CL] |
| （或 arXiv:2611.06812v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06812 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 相关 DOI： | https://doi.org/10.18653/v1/2026.gem-main.34
链接到相关资源的 DOI |
提交历史
来自：Man-Ling Sung [查看电子邮件]
[v1]
2026年11月4日星期三 17:25:40 UTC（738 KB）
来源：arXiv cs.CL · arxiv.org