arXiv cs.CL· Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace·· 11 小时前AI 评分31
如何衡量文本中的 AI“Slop”：一套可解释的评估维度框架
Measuring AI "Slop" in Text
AI 导读
研究者通过与 NLP、写作和哲学领域专家访谈，构建了 AI“slop”（低质量 AI 生成文本）的分类体系，并提出一组可解释的文本评估维度。基于 span 级标注，研究发现二元“slop”判断带有一定主观性，但与连贯性、相关性等潜在维度相关。该框架可用于检测任务和二元偏好任务，但完全自动化、可规模化的方法仍是未解难题。
正文 · AI 翻译
摘要：AI“slop”是一个日益流行的术语，用于描述低质量的 AI 生成文本，但目前对该术语尚无公认的定义，也没有衡量其出现情况的方法。在本工作中，我们通过对 NLP、写作和哲学领域专家的访谈，构建了“slop”的分类体系，并提出了一组可解释的文本评估维度。通过跨度级标注，我们发现二元的“slop”判断（在某种程度上）是主观的，但此类判定仍与连贯性和相关性等潜在维度相关。我们的框架可用于在检测任务和二元偏好任务中考察 AI 生成文本，有望为影响质量判断的语言和文体因素提供新的见解。我们强调，完全自动化且可扩展的方法仍是一个未解决的挑战。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2509.19163 [cs.CL] |
| （或 arXiv:2509.19163v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.19163 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chantal Shaib [查看邮箱]
[v1]
2025年9月23日星期二 15:41:19 UTC（882 KB）
[v2]
2026年1月24日星期六 04:46:30 UTC（887 KB）
[v3]
2026年10月16日星期五 17:05:27 UTC（924 KB）
来源：arXiv cs.CL · arxiv.org