arXiv cs.AI· Thomas Fel, Matthew Kowal, Matt Feiszli, Satchel Grant, Andrew Lee, Chris Earls, Fatih Dinc, Vasudev Shyam, Usha Bhalla, Leon Bergen, Siddharth Boppana, Ching Fang, Michael Byun, Tristan Gallent, Nicholas Wang, Tal Haklay, Dron Hazra, Neehar Kondapaneni, Connor Watts, Ryan Panwar, Thomas Dooms, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana, Thomas McGrath, Owen Lewis·· 11 小时前AI 评分49
通过内部表征塑造与监控模型：Mechanistic Shaping 框架
Shaping & Monitoring Models through their Internal Representations
AI 导读
研究者提出 Mechanistic Shaping 框架，在训练中通过模型内部表征约束其表达和依赖的概念，在视觉、医学影像、语言等多领域、最高 32B 参数规模及分类、SFT、DPO、GRPO 等训练范式下大幅减少目标行为且保持任务性能。
正文 · AI 翻译
作者：Thomas Fel、Matthew Kowal、Matt Feiszli、Satchel Grant、Andrew Lee、Chris Earls、Fatih Dinc、Vasudev Shyam、Usha Bhalla、Leon Bergen、Siddharth Boppana、Ching Fang、Michael Byun、Tristan Gallent、Nicholas Wang、Tal Haklay、Dron Hazra、Neehar Kondapaneni、Connor Watts、Ryan Panwar、Thomas Dooms、Jack Merullo、Atticus Geiger、Ekdeep Singh Lubana、Thomas McGrath、Owen Lewis
摘要：我们提出 Mechanistic Shaping，一个通过模型内部表征来塑造模型的统一框架。Mechanistic Shaping 在训练期间应用，使模型遵循关于其表达哪些概念（通过其输出或内部表征衡量，例如不包含有害内容）以及依赖哪些概念（即它们依据什么做出决策，例如在筛选简历时不依据候选人的性别）的规范（规则）。在多个领域（视觉、医学影像、语言）、规模（最高 32B 参数）和训练范式（分类、SFT、DPO、GRPO）中，我们发现 Mechanistic Shaping 能大幅减少目标行为，同时保持任务性能。由于针对某一表征进行训练也可能改变该表征，我们追问被塑造的概念是否仍然可监控，这一问题取决于所考虑的监控器类别。因此，我们引入了此类类别的层级结构，用以区分逃过某个探针的概念与真正消失的概念。我们刻画了三种规避的几何机制：概念可以偏离监控器、从该层中被抹除，或以非线性编码的形式存留于高阶统计量中，我们通过乘积码构造对此加以解释。尽管在不同设置或更大规模下可能出现其他机制，但这三种机制解释了我们所有的观察结果，且每一种都能被相应的监控器检测到。在实践中，我们发现被塑造的概念在很大程度上仍然可监控：重新拟合的线性探针在大多数设置下能恢复该概念，而只要梯度不流经原始探针，原始探针就仍然可靠。综上所述，这些结果指向将可解释性用作训练工具的潜力，并呼吁建立与之相应的严谨的基于可解释性的训练科学。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07071 [cs.LG] |
| （或 arXiv:2611.07071v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07071 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Thomas Fel [查看邮箱]
[v1]
2026年11月4日星期三 19:29:13 UTC（19,265 KB）
来源：arXiv cs.AI · arxiv.org