arXiv cs.AI· Adam Elimadi·· 1 天前AI 评分31
表征简洁性与电路规模在阈值依赖下解离：一项对抗训练的受控检验
Representational Simplicity and Circuit Size Dissociate in a Threshold-Dependent Way: A Controlled Test via Adversarial Training
AI 导读
研究以对抗训练为受控手段，从同一 GPT-2 Small 检查点出发，检验表征与归因的简洁性是否预示更小的因果电路。鲁棒模型更易被 SAE 分解、任务归因涉及的 SAE 特征更少，但电路规模随忠实度阈值变化：在 85% 以下标准模型领先或持平，在 90% 和 95% 高忠实度下鲁棒模型所需边数显著更少，该优势在七档对抗强度扫描和第二语料上均成立。
正文 · AI 翻译
摘要：稀疏自编码器的可分解性与集中的特征归因，正日益被视为模型计算更易被逆向工程的证据。这种表示层面与归因层面的“干净”是否真的预示着更小或更易处理的因果电路，仍是一个开放问题。我们以对抗训练作为受控工具直接检验这一点：对抗训练能可靠地重塑内部表示，但仅凭这一点并不构成对电路规模的检验。我们通过逆向工程的复杂度来研究这一问题：在固定保真度水平下恢复模型行为所需的因果结构。据我们所知，这是首个受控实证检验，考察表示或归因上的简单性是否会转化为电路层面的因果简单性。我们从同一个预训练 GPT-2 Small 检查点出发，施加匹配的标准持续训练与对抗持续训练，要求两种条件都在间接宾语识别任务上保持能力，并通过独立的鲁棒性验证后才比较机制。随后我们沿三个互补维度比较模型：稀疏自编码器可分解性、SAE 特征在任务归因中的参与程度，以及从原始计算图中恢复出的忠实电路规模。鲁棒模型具有更高的 SAE 可分解性，且在任务归因中涉及的 SAE 特征更少。电路规模依赖于所处情形：在能力匹配的 IOI 上，标准模型在低于 85% 保真度时领先或持平，但鲁棒模型在高保真度（90%、95%）下所需边数显著更少。这一高保真度优势在七点对抗强度扫描中的每一个合格鲁棒模型上均成立，在第二个语料上亦然，表示层面的趋势同样如此。
| 评论： | 正在 ICLR 2027 审稿中。22 页，6 幅图，13 张表。v2：为完整的对抗强度扫描和第二个语料新增了 90%/95% 电路交叉点；新增总览图 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2609.35890 [cs.AI] |
| （或 arXiv:2609.35890v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35890 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Adam Elimadi [查看邮箱]
[v1]
2026 年 9 月 27 日周日 07:35:31 UTC（476 KB）
[v2]
2026 年 11 月 11 日周三 22:32:11 UTC（383 KB）
来源：arXiv cs.AI · arxiv.org