arXiv cs.CL· Li Zhang, Kevin Ashley·· 12 小时前AI 评分29
法律因素存在于 LLM 的哪些位置？研究揭示 CATO 因子在模型内部的线性可解码表征
Where Do Legal Factors Live in LLMs?
AI 导读
研究检验了 LLM 是否形成对应全部 26 个 CATO 法律因子的内部表征，在 Qwen3-1.7B、Qwen3-8B 和 Gemma-2 2B 三个开源模型中，26 个因子均可线性解码，最佳层测试 AUC 为 0.86 至 1.00。单特征稀疏读出覆盖完整因子目录，5 个选定特征接近全向量读出性能，研究共报告 78 个模型特定的层-特征坐标。
正文 · AI 翻译
摘要：在基于案例的法律推理中，法律专业人士会识别新争议中具有法律意义的事实模式，并将其与已决案例中的事实模式进行比较。在 AI & Law 中，HYPO 维度和 CATO 因素以符号方式表示这些模式，将从案例叙述中提炼出的专家知识组织为显式、结构化、可解释且可审计的法律概念与关系，以支持案例比较、法律论证和基于先例的推理。大语言模型（LLM）正越来越多地用于法律任务，但其对法律知识的内部组织仍难以追踪。我们研究 LLM 是否会形成与全部 26 个 CATO 因素相对应的内部表示。两个研究问题分别考察线性可解码性和基于稀疏自编码器的稀疏定位。实验覆盖三个开放模型：Qwen3-1.7B、Qwen3-8B 和 Gemma-2 2B，并辅以跨模型比较和对受控自然语言段落的人工审计。结果表明，全部 26 个因素在三个模型中均可线性解码。单特征稀疏读出覆盖完整因素目录，最佳层测试 AUC 范围为 0.86 至 1.00。五个选定特征接近全向量读出的性能。我们报告了 78 个模型特定的层-特征坐标，每个模型中的每个因素各一个。这些结果共同表明，与专家定义的法律因素相对应的信息可以从 LLM 处理法律叙述时的内部激活中读出。通过定位这些读出，我们的研究将法律语言以及 HYPO 和 CATO 的符号抽象与学习到的内部表示联系起来。
| 注释： | 12 页，3 幅图，2 张表。已被 JURIX 2026（第 39 届法律知识与信息系统国际会议）接收 |
| 主题： | 计算与语言（cs.CL） |
| MSC 分类号： | 68T50 |
| ACM 分类号： | I.2.7; I.2.4 |
| 引用为： | arXiv:2610.28799 [cs.CL] |
| （或 arXiv:2610.28799v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28799 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Li Zhang [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 18:24:37 UTC（585 KB）
来源：arXiv cs.CL · arxiv.org