arXiv cs.CL· Liang Yue, Eric A. Vance·· 11 小时前AI 评分49
研究揭示 LLM 标注器将第二人称误判为毒性，Claude Haiku 等七款模型均过度标记 "you"
"You" Is Not Toxic: How LLM Labelers Rewrite the Web's Conversation Laws
AI 导读
研究发现 LLM 标注器会把第二人称 "you" 误判为毒性，从而制造出人类标注中不存在的规律。在 125 万条新闻评论上，Claude Haiku 对不含 "you" 的无毒评论标记率为 12%，含四个及以上 "you" 的达 51%，而单个人工标注者分别为 6% 和 10%。
正文 · AI 翻译
摘要：网络社区关于有害对话的既有认知（例如毒性会随着讨论串变长、变深而上升）大多是通过 Google 的 Perspective API 测得的，而该 API 即将关停；大语言模型（LLM）将承担接下来的测量工作。我们发现，LLM 标注器会把第二人称称呼误判为毒性，而正是这一单一偏差制造出了人类标注中并不存在的规律。在 125 万条带有众包标注的新闻评论上，Claude Haiku 将不含“you”的无毒评论中的 12% 标记为有毒，而在含四个及以上“you”的无毒评论中这一比例为 51%；单个众包评分者对应的比例分别为 6% 和 10%。更深的回复更常称呼某人，因此在 Haiku 的判定下毒性随回复深度上升（每层 +0.93 个百分点），而在众包标注下则略有下降（-0.12）。将“you”改写为第三人称可消除三分之二的虚假上升；只标记与众包标注同样数量的评论并不能消除它，而向 Haiku 展示父评论则会使其扩大。我们测试的全部七个 LLM 都过度标记“you”，并且在众包标注的标记率下、不提供父评论时，对于其中开放权重的模型，只要第二人称词数量固定，任何虚假上升都会消失；Haiku 在 Reddit、Gab 和 Wikipedia 讨论页上同样过度标记“you”。与人类标注的一致性并不能揭示这一偏差：我们证明，固定的 Cohen's kappa 几乎无法对规律构成约束。因此我们认证的是规律本身，而非标注器。Threadsafe 利用标注器的分数来选择由人类评分者标注哪些评论，并预测其余评论，再用人类标注校正这些预测；无论标注器表现如何，线性规律都能被无偏地估计。在模拟审计中，从 250 个标注起，其规律置信区间保持名义覆盖率，而 PPI++ 等均匀采样方法则达不到这一水平；在 1,000 至 8,000 个标注时，其区间宽度是基于设计的监督学习（DSL）的 0.75 倍；一千个人类标注即可排除 Haiku 得出的上升规律。
| 评论： | 43 页，4 幅图，44 张表。标注、提示词与代码：此 https URL |
| 主题： | 社会与信息网络（cs.SI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23446 [cs.SI] |
| （或 arXiv:2610.23446v1 [cs.SI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.23446 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liang Yue [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 13:29:30 UTC（185 KB）
来源：arXiv cs.CL · arxiv.org