arXiv cs.AI· Shengjie Xu·· 13 小时前AI 评分31
从几何到行为：指令暴露如何解锁 LLM 的潜在修辞方向
From Geometry to Behavior: How Instruction Exposure Unlocks Latent Rhetorical Directions in LLMs
AI 导读
研究从残差流中提取出“Analogy Vector”，在 Gemma-2、Llama-3.1、Qwen-2.5 等七个指令微调模型（2B-32B）上实现可操控的解释风格，Gemma-2-9B-IT 在 300 条测试提示上的调和均值从 3.22 提升至 3.94（+22%）。
正文 · AI 翻译
摘要：语言模型并非仅仅记忆事实；它们从预训练数据中吸收修辞策略，包括人类通过类比进行推理的倾向。我们提出疑问：这种被吸收的能力在任何指令微调之前是否在几何上可访问，以及是什么决定了它能否在推理时被激活？
我们通过均值差从残差流中提取出一个“类比向量”，并证明它能在七个指令微调模型（Gemma-2、Llama-3.1、Qwen-2.5；2B-32B）上实现可操控的解释风格，在 300 条留出测试提示上，将 Gemma-2-9B-IT 的调和平均值从 3.22 提升至 3.94（+22%）。一项小型人工验证研究证实了 LLM 评判器在类比质量上的评判。
我们的核心发现来自七对匹配的基座-指令模型，即行为可访问性的梯度：类比方向存在于每个基座模型中，但其在线性干预下的行为可访问性随训练期间指令暴露程度连续变化。Gemma-2 基座模型（严格的预训练/指令微调分离）呈现平坦的操控景观：存在但在行为上惰性。Qwen-2.5 基座模型（指令数据编织进预训练）在任何显式微调之前就已部分可访问；类比向量的基座-指令余弦相似度在 Qwen 上达到 0.94-0.97，而在 Gemma 上为 0.37-0.66，为行为梯度提供了几何佐证。这挑战了二元的“基座 vs 指令”框架：相关变量是模型在其完整训练流程中接收到的指令暴露量。我们将激活操控定位为一种互补的可解释性工具，揭示指令暴露如何在激活空间中组织修辞知识。
| 评论： | 已接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37685 [cs.CL] |
| （或 arXiv:2610.37685v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37685 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 语言建模会议（COLM 2026） |
提交历史
来自：Shengjie Xu [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 20:25:40 UTC（156 KB）
来源：arXiv cs.AI · arxiv.org