arXiv cs.CL· Esther Shizgal, Ron Keinan, Daniel Shtauber, Roee Tzvi Esquira, Ori Aronson, Matan Toledano, Or Rappel-Kroyzer, Liron Lavi, Renana Keydar, Ittai Bar-Siman-Tov, Reut Tsarfaty·· 11 小时前AI 评分24
从 DQI 到 C-DQI：用于衡量计算话语质量指数的自动码本生成与评估
From DQI to C-DQI: Automatic Codebook Generation and Evaluation for Measuring Computational Discourse Quality Index
AI 导读
研究提出一套基于 LLM 的码本生成与评估完整协议，从话语质量指数（DQI）出发，对比自上而下（理论驱动）、自下而上（数据驱动）与混合三种方式生成适配上下文的评估框架。在 100 份以色列议会记录上的实验显示，归纳式数据驱动码本在保持有效性的同时，模型间一致性（IMA）高于自上而下方法。
正文 · AI 翻译
作者：Esther Shizgal、Ron Keinan、Daniel Shtauber、Roee Tzvi Esquira、Ori Aronson、Matan Toledano、Or Rappel-Kroyzer、Liron Lavi、Renana Keydar、Ittai Bar-Siman-Tov、Reut Tsarfaty
摘要：有效的民主审议对于公民参与和立法机构的健康至关重要。然而，评估议会话语质量传统上依赖专家评分、基于理论的编码手册（CB），这类方法僵化、劳动密集且容易产生偏差。尽管大语言模型（LLM）为模式归纳和话语标注提供了一种可扩展的替代方案，但确保模式质量并缓解模型固有偏差仍是一项明确的挑战。在本工作中，我们提出了一套完整的基于 LLM 的编码手册生成与评估协议。从广泛接受的话语质量指数（DQI）出发，我们比较了自上而下（基于理论）、自下而上（数据驱动）和混合方法在生成情境适配模式方面的表现。为评估这些模式，我们定义了一种由人工标注验证的外在代理指标，以及一种内在的模型间一致性（IMA）指标，后者利用不同模型的偏差来指示整体可靠性。我们在 100 份以色列议会记录上的实验表明，归纳式、数据驱动的模式在保持有效性的同时，其 IMA 高于自上而下的方法，展示了其在大规模政治话语可靠分析方面的潜力。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.27937 [cs.CL] |
| （或 arXiv:2610.27937v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27937 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ron Keinan [查看邮箱]
[v1]
2026年10月20日星期二 09:45:13 UTC（539 KB）
来源：arXiv cs.CL · arxiv.org