arXiv cs.CL· Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Volker Tresp·· 12 小时前AI 评分31
研究揭示文档级 LoRA 适配器的开卷分数主要衡量阅读行为
Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters
AI 导读
在 Llama-3.1-8B-Instruct 上为 150 篇 Wikipedia 文章各训练一个 LoRA 适配器后发现，开卷分数主要衡量所有适配器共有的阅读行为：用另一文档训练的随机适配器可复现专家适配器相对基座模型 82% 的开卷优势，但在不提供原文的 cloze 探针上仅复现 2%。
正文 · AI 翻译
摘要：单文档 LoRA 适配器已被提出作为可合并与检索的知识单元；然而，在提示中提供文档的开卷评分，可能把文档自身适配器（其专家）读取该文档的能力与记住该文档的能力同等归功。我们在 Llama-3.1-8B-Instruct 上为 150 篇维基百科文章各训练一个适配器，发现开卷分数大多衡量的是每个适配器共有的阅读行为：在另一文档上训练的随机适配器，能恢复专家适配器相对基座模型开卷优势的 82%，但在不提供源文本、要求回答同一文档事实的完形填空探针上，仅恢复其优势的 2%，这一比例与零无法区分。内容确实进入了权重，因为专家适配器在完形填空回忆上比基座模型高 0.094，且其更新的几何结构跟随所读文档；然而，在 30 个查询的测试中，按权重空间邻近度或文本嵌入选择的适配器，在两个探针上均与随机适配器无法区分，尽管该测试无法排除约相当于查询自身适配器相对随机适配器增益五分之四的优势。在 16 篇或更多文档时，正确缩放的合并能恢复专家适配器开卷优势的 87% 至 89%，但仅恢复其完形填空优势的 12% 至 16%，区间从低于零到至多 32%，而联合 this http URL 为 94%；该文还报告了四个静默错误，每个都产生了干净但错误的结果。
| 评论： | 27 页，3 幅图，15 张表，正在 ACL ARR 审稿中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31017 [cs.CL] |
| （或 arXiv:2610.31017v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31017 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Martino M. L. Pulici [查看邮箱]
[v1]
2026 年 10 月 22 日周四 09:52:29 UTC（59 KB）
来源：arXiv cs.CL · arxiv.org