arXiv cs.CY· Gregory M. Dickinson·· 9 小时前AI 评分31
别再删停用词:继承的预处理默认设置如何扭曲法律文本数据研究
Stop Removing Stopwords: How an Inherited Preprocessing Default Distorts Legal Text-as-Data
AI 导读
一项针对美国最高法院判决文本的研究发现,停用词删除这一继承自信息检索领域的预处理默认设置,在意识形态方向(无删除基线 F1 约 0.68)与法律类型(约 0.92)两个二分类任务上均无收益,通用停用词表在全部十二项留出测试中甚至低于不删除基线。
正文 · AI 翻译
摘要:实证法律研究日益将司法文本视为数据,其中许多研究仍依赖稀疏、可解释的处理流程——TF-IDF 特征与线性分类器——因为文本特征往往是研究对象,而非预测手段。然而,这些流程继承了上世纪中叶信息检索的预处理默认设置,而这些默认设置从未针对分类准确率进行过验证。其中最根深蒂固的是停用词移除。本研究引入一种穷举式单词消融方法,直接针对下游目标衡量某个预处理步骤的效果,并将其应用于最难被撼动的停用词移除。研究将最高法院数据库标签与 Caselaw Access Project 的判决意见文本相匹配,考察了两个二元任务,它们界定了 F1 的提升空间:意识形态方向(不移除基线 F1 约 0.68)与宪法类与非宪法类法律类型(约 0.92),分别覆盖 7,668 份和 7,001 份判决意见。对每个任务,消融依次移除约 18,500 个候选词中的每一个,并基于测量结果构建任务专属停用词表。在全部十二项留出测试中,常见的通用停用词表均低于不移除基线。任务专属停用词表使留出 F1 在意识形态任务上变化 +0.0023(95% CI [-0.0124, +0.0170]),在法律类型任务上变化 +0.0001([-0.0082, +0.0085])。两个任务均未显示出可检测的移除收益,补充分析发现词级统计量对移除效果的预测能力很差,因为真实移除效果之间的差异小于测量所能分辨的程度,几乎没有可预测之处。该方法可推广到任何继承而来的预处理默认设置;这一结果是对可解释法律文本即数据研究的一个特定警示:一个重塑模型所见特征的步骤,可能扭曲研究本应恢复的学理与意识形态信号。举证责任在于移除一方。
| 主题: | 计算与语言 (cs.CL);计算机与社会 (cs.CY);信息检索 (cs.IR);机器学习 (cs.LG) |
| MSC 分类号: | 68T50(主)68P20、62H30(次) |
| ACM 分类号: | I.2.7; H.3.1; I.5.2; H.3.3; I.2.6; J.1 |
| 引用为: | arXiv:2609.19153 [cs.CL] |
| (或 arXiv:2609.19153v3 [cs.CL] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2609.19153 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Gregory Dickinson [查看邮箱]
[v1]
2026年7月21日 星期二 14:55:19 UTC(599 KB)
[v2]
2026年10月4日 星期日 20:44:08 UTC(936 KB)
[v3]
2026年11月19日 星期四 17:15:14 UTC(1,836 KB)
来源:arXiv cs.CY · arxiv.org