Mamba 与 Transformer 法律 AI 基准测试：法条分类与判例检索

查看 PDF HTML（实验性）

摘要：成文法语料库和司法判决的增长速度已超过法律专业人士的阅读速度，而单个判决往往超出标准编码器模型的上下文限制。Transformer 架构在法律 NLP 基准测试中占据主导地位，但其二次方注意力复杂度可能导致需要截断或分割那些要求全文推理的文档。选择性状态空间模型（SSM），如 Mamba，提供了线性时间的序列建模，是处理长篇法律文档的一个有前景的替代方案，但其在法律分类和检索方面的性能仍未被充分探索。
我们提出了一个初步基准测试，在共享的窗口化和聚合流程下，将 Mamba 和 SSD-Mamba 与 BERT、DeBERTa 和 Longformer 在四个法律分类任务（ECtHR、EUR-Lex、SCOTUS 和 ILDC/ILC）和两个案例检索任务（ECtHR 和 ILDC）上进行比较。最强的 SSM 在各项任务和指标上与最强的 transformer 相差约 1.3 个百分点以内。SSD-Mamba 在 ECtHR 分类、ILDC 分类和 ECtHR 检索的大多数指标上取得了最佳结果，同时每秒处理的 token 数约为 DeBERTa 的 3 倍、Longformer 的 4 倍。DeBERTa 在 SCOTUS 和 EUR-Lex F1 上仍然最强。
这些结果是初步的，因为它们不包括跨随机种子的方差估计或统计显著性检验。我们并非给出一个确定的排名，而是利用这些发现来推动进一步的评估，包括重复种子实验、统计检验以及对模型容量和计算效率的控制。

主题：	计算机与社会（cs.CY）；人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2509.00141 [cs.CY]
	（或 arXiv:2509.00141v2 [cs.CY] 用于此版本）
	https://doi.org/10.48550/arXiv.2509.00141 arXiv 颁发的 DOI 通过 DataCite

提交历史

来自：Anuraj Maurya [查看电子邮件]
[v1] 2025年8月29日星期五 17:38:47 UTC（81 KB）
[v2] 2026年10月7日星期三 15:52:00 UTC（143 KB）