arXiv cs.AI· Xupeng Chen, Chenqian Le, Jiayi Cheng, Runhao Li, Michael Yue·· 3 天前AI 评分22
SFT 在激活几何中留下可复现特征：Qwen3-1.7B 与 Llama-3.1-8B 上的后训练可解释性校准
SFT Leaves a Reproducible Signature in Activation Geometry: Calibrating Post-Training Interpretability Against Run-to-Run Noise
AI 导读
在 Qwen3-1.7B 的稀疏共激活图上，两次 LoRA-SFT 重跑之间的距离超过其与基座距离的一半，说明模型 diff 默认的"重跑会落在附近"假设不成立。
正文 · AI 翻译
摘要：模型差异分析将后训练归功于基础检查点与其某个后训练衍生版本之间的任何差异，并假定重新运行会得到相近结果。在 Qwen3-1.7B 的稀疏共激活图上，情况并非如此：两次 LoRA-SFT 重跑之间的距离，超过它们各自与基础版本距离的一半。我们将每个基础到后训练的对比，与其自身配方的运行间波动带进行评分，并证明在运行可交换性下，$k$ 次运行所能认证的效力不超过 $p=1/(k+1)$，无论效应多大，因此该波动带 $z$ 分数只是一个描述性尺度。SFT 留下了巨大且可复现的特征：基础 $\to$ SFT 使图偏移了 17.8 个成对距离标准差，超出四次独立 LoRA-SFT 运行之间平均距离；且预注册估计器在 Llama-3.1-8B 上通过 Llama-Scope 复现。各 29 步时，四次 SFT 和四次 DPO 运行占据不相交的位移范围，差距分别为两臂散布的 $5.0\times$ 和 $5.6\times$，且无需任何波动带。所有波动带均使用在单一 GPU 架构上构建的图。另外三种解读未能得出结论：DPO 波动带计数（在 12、29、60 步时分别有 3/4、1/4、3/4 的对比超出）未显示一致的剂量排序，而其位移保持平坦；轻量 GRPO 是次要的未检出，而非不存在，且我们未进行等效性检验；被解读为 RL 特征的图集中度，在零 RL 基础版本中已经存在。在 4,816 个留出提示上、三个边预算下进行的预注册因果扫描发现，被位移的来源具有承重作用（在 10,000 条边时，均值上是匹配随机对照的 $12\times$，中位数上是 $3.5\times$），但其阶段特异性交互在两个预算下反转，第三个未能通过其忠实性门控，因此我们主张的是校准的结构性位移，而非机制改变。范围：一个骨干网络、一个 SFT 配方，以及用于完整协议的通用文本探测状态。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17093 [cs.AI] |
| （或本版本使用 arXiv:2610.17093v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.17093 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chenqian Le [查看邮箱]
[v1]
2026年10月12日星期一 16:50:45 UTC（592 KB）
来源：arXiv cs.AI · arxiv.org