arXiv cs.CL· Nakyung Lee, Sangwoo Hong, Jungwoo Lee·· 3 天前AI 评分27
面向可控数据生成的机制电路识别
Mechanistic Circuit Identification for Controllable Data Generation
AI 导读
研究者提出一种基于电路的框架，将基于训练动态的数据价值评估与机制可解释性（MI）相连接，沿可学习性、挑战性和对齐三条效用轴识别出模型内部因果控制这些信号的专用电路，并将其作为可控接口主动引导生成效用定向数据。
正文 · AI 翻译
摘要：尽管近期数据合成方面的进展旨在构建高质量数据集，但大多数生成流程仍依赖基于启发式提示的控制。这种黑盒范式对单个样本如何与模型底层学习动态相互作用提供的洞察有限。为弥合这一差距，我们提出一个以电路为基础的框架，将基于训练动态的数据估值与机制可解释性（MI）联系起来。具体而言，我们沿三个互补的效用轴来概念化数据质量：可学习性、挑战性和对齐性。首先，我们揭示了因果性地支配这些效用信号的专门模型内部电路。然后，从启发式提示转向机制控制，我们将这些电路用作可控接口，主动引导生成以产生面向效用的数据。基于这一能力，我们引入 SAMS（阶段感知机制调度），它根据模型不断演化的优化需求来调度由电路引导的数据。在多项选择问答任务上的实验表明，我们的方法能产生比基于提示的基线更多样、且被精确控制的数据，并持续提升下游性能和校准。最终，这项工作为可解释的数据生成建立了一个有原则的白盒范式，开创性地将 MI 不仅用作分析工具，还用作实用的可控接口。
| 评论： | 31 页，9 幅图，18 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.24065 [cs.LG] |
| （或 arXiv:2608.24065v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.24065 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Nakyung Lee [查看电子邮件]
[v1]
2026年8月25日星期二 04:53:19 UTC（1,468 KB）
[v2]
2026年10月14日星期三 07:30:45 UTC（1,197 KB）
来源：arXiv cs.CL · arxiv.org