arXiv cs.AI· Man Liang, Xinzhao Cheng, Faizan Wajid·· 13 小时前AI 评分31
冻结 LLM 几何约束审计：可解码但不等于可行动
Decodable but Not Actionable: Auditing the Representation-Behavior Gap in Frozen LLMs for Geometric Constraints
AI 导读
研究团队提出基于参数化 CAD 的受控审计框架，在八个预训练模型及匹配的随机初始化对照上区分编码、表达与激活层控制的失败。预训练对局部关系的线性解码贡献远大于全局约束状态，而强局部可解码性并未转化为零样本预测能力，仍远低于监督探针。仅用 400 对标注关系做低秩微调即可显著提升三个代表性模型的生成表现，说明表征—行为差距可通过适配缩小。
正文 · AI 翻译
摘要：大型语言模型（LLM）在结构化推理任务上表现良好，但它们编码了什么、以及编码的信息是否引导其行为，仍不清楚。我们引入一个受控审计框架，使用参数化 CAD 来区分编码、表达和激活层面控制的失败。应用于八个预训练模型和匹配的随机初始化对照，我们的框架揭示，预训练对局部关系的线性解码贡献远大于对全局约束状态的贡献，而后者从随机表示中已高度可解码。然而，强的局部可解码性并未转化为模型的零样本预测，后者仍远低于监督探针性能。恢复干净的内部激活可以修复探针预测，而简单的激活引导并不能提供可靠的目标控制。仅用 400 个标注关系对，低秩微调在三个代表性模型上显著改善生成，表明表示—行为差距可以通过适应来缩小。总之，这些发现表明为什么仅凭可解码性不足以证明编码信息会在模型行为中被表达或可控。
| 评论： | 修订稿，扩展了实验、分析和讨论 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.17843 [cs.CL] |
| （或此版本的 arXiv:2608.17843v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2608.17843 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Man Liang [查看电子邮件]
[v1]
2026年8月18日星期二 14:40:28 UTC（1,567 KB）
[v2]
2026年10月27日星期二 23:04:55 UTC（1,024 KB）
来源：arXiv cs.AI · arxiv.org