arXiv cs.CL· Lin Ai, Emma Thronson, Katherine Conhaim, Amir Zeldes·· 3 天前AI 评分20
PROPALIGN：基于多摘要的命题显著性评分评估方法
The Sum of All Summaries: PROPALIGN for Graded Proposition Salience Evaluation
AI 导读
研究者提出 PROPALIGN，一种基于多摘要的命题显著性评分估计方法，并发布配套数据集 PROPALIGNBANK，包含超 35K 条命题的 138K 对齐数据。在英语口语与书面语多体裁对比中，直接让模型判断会导致不一致，而基于摘要的分级指标更稳定；单模型表现弱于人类，但融合语言特征的模型集成可接近人工标注质量上限。
正文 · AI 翻译
摘要：文档中显著命题的识别与排序间接涉及许多 AI 任务，但很少有论文清晰地定义命题显著性分数、提供多样化的数据，或直接在该任务上评估模型。本文提出 PROPALIGN，一种基于多重摘要的命题显著性分数估计方法，并发布了 PROPALIGNBANK，一个伴随该方法的、包含超过 35K 个命题的 138K 条对齐的数据集。我们在广泛的口语和书面体裁中比较了若干英语显著命题抽取方法，并证明直接让模型进行判断会导致不一致。相比之下，基于摘要的分级指标更为稳定。我们进一步观察到，虽然单个模型的表现不如人类，但融合语言特征的模型集成接近人工标注的质量上限。此外，对模型输出的分析为模型如何在使用和不使用摘要的情况下抽取显著信息提供了洞见。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19387 [cs.CL] |
| （或 arXiv:2610.19387v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19387 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Lin Ai [查看电子邮件]
[v1]
2026年10月14日星期三 01:32:24 UTC（423 KB）
来源：arXiv cs.CL · arxiv.org