arXiv cs.CL· Nishan Chatterjee, Matthew Purver, Antoine Doucet, Senja Pollak·· 10 小时前AI 评分20
仅找出错误还不够：面向实体情感分析的选择性模型升级策略
Finding Errors Is Not Enough: Selective Model Escalation for Entity-Targeted Sentiment Analysis
AI 导读
研究在文档级实体级情感分析（ELSA）中，用不确定性决定哪些预测需要复核、处理多少条，以及能否由替代编码器或本地 LLM 纠正。在 SentiCoref 上，若完美纠正最不确定 10% 的全部错误可提升 9.14 Macro-F1，但最佳实际动作仅增益 0.90。
正文 · AI 翻译
摘要：在资源有限的情况下改进情感分类器，不仅仅是决定收集多少数据或训练哪个模型。一个有标注的集合可能缺少某个重要类别的示例。训练完成后，分类器可能受益于另一个模型，即使该模型单独使用时较弱。我们在文档级实体级情感分析（ELSA）中研究这些决策，主要使用南斯拉夫语新闻。我们首先比较集合增长时的采集顺序。然后利用不确定性来选择要重新审视哪些预测、处理多少预测，以及替代编码器或本地 LLM 能否纠正它们。最后，我们在开发数据上选择完整的路由策略，用于留出评估。少数类优先的采集在一些非常小的训练规模下有帮助，但此后并不一致。在 SentiCoref 上，一个 oracle 在不损害正确预测的情况下纠正置信度最低的 10% 中的所有错误，将增加 9.14 个 Macro-F1 点；然而，评估的最佳动作仅获得 0.90。编码器平均在 AspectBench 和 NewsMTSC 上有帮助，但损害 SentiCoref，在那里选择性 LLM 辅助更有前景。两个开发选择的策略都将 30% 的记录路由到编码器辅助的 LLM，在 SentiCoref 上观察到 1.02 点的增益（区间包括零），在 NewsMTSC 上为 1.71，推理成本差异显著。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02989 [cs.CL] |
| （或 arXiv:2611.02989v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02989 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nishan Chatterjee [查看电子邮件]
[v1]
2026年11月2日星期一 11:59:44 UTC（6,749 KB）
来源：arXiv cs.CL · arxiv.org