arXiv cs.AI· Kaiyang Wan, Yuxia Wang·· 11 小时前AI 评分31
语言模型如何组织任务信息：用 k* 衡量读出稀疏性
How Language Models Organize Task Information
AI 导读
研究提出用 k*（固定搜索协议下恢复稠密探针 95% 超额 AUROC 所需的最小特征数）衡量语言模型的读出稀疏性，并在五个实验室的 19 个模型、14 项核心任务上评估。
正文 · AI 翻译
摘要：稠密线性探针从语言模型（LM）表示中评估任务可读性，但不能直接揭示预测需要多少特征。我们用 \(k^*\) 衡量读出稀疏性，即在固定搜索协议下找到的、能恢复稠密探针高于随机水平的 AUROC 的 95% 的最小特征数。我们在 14 个核心任务上评估了来自五个实验室的 19 个 LM。十个基础模型对九个可靠可读任务给出相似的特征数和几乎相同的排序。这种一致性延伸到所选特征本身：在三个任务上，这些特征表现出跨模型响应对应关系，超出类别均值差异和标签相关性匹配的零假设。指令微调部署选择性地降低 \(k^*\)，权重和输入格式均有贡献。在跨 20 个模型的受控合成实验中，成功学习的目标允许单特征读出，而可读的对照目标需要数十个特征。参考模型的 \(k^*\) 与八个学生模型的标签需求相关，遵循经验缩放关系 \(N^*\propto(k^*)^{0.65}\)。在持续学习之后，保存的头部可能失效，而线性可读性仍然很高，且在测试流程下恢复所需的标签少于初始任务学习。剪枝会降低线性可读性，剪枝前读出越宽，通常损失越大。这些发现将任务可读性与读出稀疏性区分开来，并确立了它们在预测学习需求和诊断 LM 变化方面的互补价值。
| 评论： | 88 页，12 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.27724 [cs.AI] |
| （或 arXiv:2610.27724v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27724 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kaiyang Wan [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 06:43:48 UTC（541 KB）
来源：arXiv cs.AI · arxiv.org