arXiv cs.CL· Reza Habibi, Darian Lee, Magy Seif El-Nasr·· 2 天前AI 评分29
SMDA：将训练数据归因到模型学到的符号化行为策略
Symbolic Mechanistic Data Attribution: Tracing Training Influence to Learned Behavioral Policies
AI 导读
研究者提出符号机制数据归因（SMDA）框架，通过对稀疏自编码器（SAE）特征拟合闭式 Ridge 回归，将每条 SFT 样本的影响分解为特征激活（ΔX）与输出概率（ΔY）两条路径。
正文 · AI 翻译
摘要：虽然现有的数据归因方法可以识别哪些训练样本构建了特定的机制电路，但它们无法解释训练数据如何塑造模型学到的行为决策。我们提出了符号机制数据归因（SMDA），一个将训练对归因于支配模型行为的可解释符号策略的框架。SMDA 在稀疏自编码器（SAE）特征上拟合一个闭式岭回归来建模某种行为，然后通过特征激活（$\Delta X$）和输出概率（$\Delta Y$）路径分解每个监督微调（SFT）样本如何改变该策略。我们为 Llama-3.2-3B-Instruct 中的拒绝行为提炼出一个符号策略，并分析了 200 个 SFT 对。我们的分析揭示了 (1)~符号策略的系数暴露了基础模型安全行为中的系统性缺口，例如宗教刻板印象；(2)~逐特征的 $\Delta X/\Delta Y$ 分解从机制上解释了为何有害和无害样本对某些特征产生性质不同的影响；以及 (3)~单个样本经常表现出跨特征干扰，使 SMDA 能够识别出主导效应落在非预期特征上的样本。在不使用此类样本的情况下重新训练，相比完整微调，准确率最高提升了 4.5 个百分点。这些结果表明，将机制可解释性与数据归因相结合，产生了一种既比黑盒影响函数更细粒度、又比人工电路分析更具可扩展性的诊断工具。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.29171 [cs.LG] |
| （或使用 arXiv:2606.29171v2 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2606.29171 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Reza Habibi [查看邮箱]
[v1]
2026年6月28日星期日 03:32:06 UTC（1,382 KB）
[v2]
2026年10月15日星期四 17:36:33 UTC（304 KB）
来源：arXiv cs.CL · arxiv.org