跳到正文
热点事件持续更新

研究:删停用词无益且扭曲法律文本分析

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Gregory M. Dickinson 发表的研究对美国最高法院判决文本做逐词消融实验,直接衡量停用词删除对下游分类任务的影响。结果显示,删除停用词在意识形态方向(不删除基线 F1 约 0.68)和法律类型(约 0.92)两个二分类任务上均无收益;通用停用词表在全部十二项留出测试中甚至低于不删除基线。 研究将停用词删除称为继承自信息检索领域的预处理默认设置,并称其是最难被撼动的案例。该结论仅针对上述法律文本分类任务,不涉及其他语料或任务。

AI 根据报道生成 · 15 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CY
    别再删停用词:继承的预处理默认设置如何扭曲法律文本数据研究

    一项针对美国最高法院判决文本的研究发现,停用词删除这一继承自信息检索领域的预处理默认设置,在意识形态方向(无删除基线 F1 约 0.68)与法律类型(约 0.92)两个二分类任务上均无收益,通用停用词表在全部十二项留出测试中甚至低于不删除基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。