arXiv cs.CL· Marek \v{S}uppa, Ivan Vykopal, Jaroslav Kop\v{c}an·· 12 小时前AI 评分34
智能体能否调试网络语料库？对斯洛伐克语 FineWeb2 的智能体审计
Can an Agent Debug a Web Corpus? Agentic Auditing of Slovak FineWeb2
AI 导读
研究将 LLM 用作语料库调试器而非分类器，通过只读、有预算限制的 API 让工具型智能体探索 FineWeb2 的 2650 万篇斯洛伐克语文档，三次运行各花费 \$2.21-\$2.84，共发现四类现象下的七个问题。
正文 · AI 翻译
摘要：FineWeb2 等多语言流水线将同一套流程应用于上千种语言，导致各语言的失效模式无法被预先识别。我们将 LLM 一次性用作语料调试器而非分类器：一个可调用工具的智能体通过只读、有预算限制的 API 探索语料，并将每项发现编译为可执行测试，再由母语者验证。在 FineWeb2 的 2650 万篇文档的斯洛伐克语部分上，三次运行各花费 \$2.21-\$2.84，共在四类现象中发现七项问题。最大的一项是包含 1,408,437 篇文档（5.32%）的机器生成内容农场，它通过了流水线的过滤器，其中 86.6% 甚至通过了更严格的阈值。盲测标注支持 7 项发现中的 6 项（缺陷率为 .53-1.00，而随机对照为 .08），有一项未获支持。编译后的测试套件无需 GPU，在 0.7 秒实际耗时内扫描完整语料，而每次 LLM 分类遍历需花费 \$12k-\$90k。最佳静态采样基线验证出的选择器多于任何一次智能体运行，且成本不到一半。智能体贡献了精确的流行度、经抽样文档核对的精确率估计、流水线为何漏掉每个切片的原因说明，以及一个可复用的测试。我们发布了该框架、斯洛伐克语测试套件、验证数据和智能体轨迹。
| 评论： | 已被 EMNLP 2026 的 WaC Workshop 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31636 [cs.CL] |
| （或 arXiv:2610.31636v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31636 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ivan Vykopal [查看邮箱]
[v1]
2026年10月22日 星期四 17:52:22 UTC（156 KB）
来源：arXiv cs.CL · arxiv.org