arXiv cs.CL· Piotr Wilam·· 10 小时前AI 评分31
校准概念画像：让模型神经元读取成为可测量的方法
Calibrated concept profiles: making the reading of a model's neurons a measurement
AI 导读
研究者提出"校准概念画像"方法，将直接读取模型神经元变为可重复的测量：以参考语料中各因素的出现率声明刺激分布，生成提示词电池并两次抽样，为每个神经元给出以自身在普通输入上的波动为单位的单一数值，两次抽样提供噪声单位。
正文 · AI 翻译
摘要：可解释性研究在很大程度上已从直接读取模型的神经元，转向读取在第一个模型上训练出来的第二个模型：探针、稀疏自编码器、交叉编码器。这一转变解决了真实存在的问题——含义混杂、阈值没有单位、读取结果无法从一项研究迁移到下一项研究——但也放弃了仅靠直接读取才能提供的东西：中间没有任何训练、神经元本身被命名、读取结果可以重复并比较。本文把直接读取变成一种测量。
神经元的激活随提示而变化，因此其读取结果是在一组刺激总体上的分布。我们声明这一总体：围绕目标构念的每个因素都按其在一份参考语料中的出现率抽取并记录。
根据所声明的分布，我们生成一组提示，并抽取两次。根据这组提示，我们计算校准后的概念剖面，每个神经元一个数值，以该神经元在普通输入上的自身离散度为单位；两次抽取为每个数值给出一个噪声单位。在读取剖面之前，一组固定的检查会在模型上对这组提示进行许可验证，并测量剖面在训练检查点之间能够分辨的最小变化。
在 OpenCoder-1.5B 上以 Python 实现，并跨越两万亿训练 token 的检查点进行跟踪，该剖面给出了其他替代方法不会报告的内容：每个数值都有单位，每次比较都有随机水平，以及每个检查点上哪些神经元承载某个构念。
这组提示、代码以及每个结果背后的数据均已发布。
| Comments: | 25 页，5 幅图，11 张表。数据集：AtlasOpenCoder，标签 v1，doi:https://doi.org/10.57967/hf/11472。代码：this https URL |
| Subjects: | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM classes: | I.2.6; I.2.7 |
| Cite as: | arXiv:2611.09196 [cs.CL] |
| （或 arXiv:2611.09196v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09196 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Piotr Wilam [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 09:17:39 UTC（446 KB）
来源：arXiv cs.CL · arxiv.org