arXiv cs.CL· Yunpeng Xiao, Kyrie Zhixuan Zhou, Youpeng Zhao, Kai Shu·· 10 小时前AI 评分32
如何理解并解决个体级自然语言理解中的标签错误
Understanding and Tackling Label Errors in Individual-Level Nature Language Understanding
AI 导读
研究提出基于个体因素的 NLU 标注新指南，将同一用户的其他帖子纳入标注过程，据此重新标注立场检测与话题情感分析数据集，发现原样本错误率高达 31.7% 和 23.3%。在加入个体因素后，GPT-4o 与 Llama3-70B 在重标注数据集上的准确率均超过 87%，消融实验进一步验证了个体因素的有效性。
正文 · AI 翻译
摘要：自然语言理解（NLU）是一项使机器能够理解人类语言的任务。一些任务，如立场检测和情感分析，与个体主观视角密切相关，因此被称为个体级 NLU。此前，这些任务常被简化为文本级 NLU 任务，忽略了个体因素。这不仅使推理变得困难且难以解释，而且在创建数据集时往往会导致大量标签错误。为解决上述局限，我们提出了一种基于个体因素的新 NLU 标注指南。具体而言，我们纳入同一用户的其他帖子，然后在考虑所有个体帖子后标注个体主观视角。我们使用该指南扩展并重新标注了立场检测和基于主题的情感分析数据集。我们发现样本中的错误率高达 31.7\% 和 23.3\%。我们进一步使用大语言模型在重新标注的数据集上进行实验，发现在加入个体因素后，大语言模型在两个数据集上均表现良好。GPT-4o 和 Llama3-70B 在重新标注的数据集上均能达到超过 87\% 的准确率。我们还通过消融研究验证了个体因素的有效性。我们呼吁未来的研究者在创建此类数据集时加入个体因素。我们的重新标注数据集可在 此 https URL 找到
| 评论： | 国际社会网络分析与挖掘会议（ASONAM）2026 最佳论文奖 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2502.13297 [cs.CL] |
| （或 arXiv:2502.13297v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2502.13297 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yunpeng Xiao [查看邮箱]
[v1]
2025年2月18日星期二 21:35:46 UTC（1,160 KB）
[v2]
2026年11月9日星期一 20:47:07 UTC（629 KB）
来源：arXiv cs.CL · arxiv.org