arXiv cs.CL· Xiaopeng Ke, Zhixin Wang, Xuebo Liu, Xinyu Ma, Xing Zheng, Bowen Song, Weiqiang Wang, Min Zhang·· 11 小时前AI 评分29
ANT-A Benchmark：LLM 标注能否匹配人类一致性？多智能体对比知识优化
Can LLM Annotators Match Human Consistency? Benchmarking Human Agreement and Optimizing Multi-Agent with Contrastive Knowledge
AI 导读
研究者提出 ANT-A Benchmark，覆盖 7 个跨领域、跨模态数据集，每个实例含 5 个独立人类标注，并用 Fleiss kappa 评估模型标注与人类标注分布的一致性。
正文 · AI 翻译
摘要：基于 LLM 的标注发展迅速，但现有基准与真实实践仍不匹配。实际标注往往涉及冗长、针对具体任务的指南，不同标注者可能给出有分歧但合理的判断，尤其是在边界案例上，而单标签数据集无法反映这种分歧。这一差距也限制了现有的单智能体与工作流式标注系统，它们往往缺乏对复杂、不断演变的指南的适应能力。为弥合这一差距，我们推出 ANT-A Benchmark，这是一个真实世界的多标注者基准，涵盖跨领域、跨模态的 7 个数据集，配有任务专属指南，且每个实例有 5 个独立人工标签。ANT-A 支持分布感知评估，使用 Fleiss kappa 衡量模型标注与人工标注分布的一致程度。我们进一步提出 ANT-OR，一个多智能体标注框架，通过从正负反馈中提炼对比决策规则来优化提示词。实验表明，ANT-OR 相比最强基线将 agreement@>=2 准确率提升 4.5 个百分点，并在 Fleiss kappa 指标上以 2 分以内的差距实现与人工标注者分布的最高一致性。代码与基准见 此 https URL。
| 评论： | 已被 EMNLP 2026 Findings 接收 |
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32415 [cs.CL] |
| （或 arXiv:2610.32415v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32415 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaopeng Ke [查看邮箱]
[v1]
2026年10月23日星期五 09:43:38 UTC（1,602 KB）
来源：arXiv cs.CL · arxiv.org