四个开源权重模型中的系统提示词条件化与隐藏状态几何：修正与幸存结论

查看 PDF HTML（实验性）

摘要：本预印本的版本 1 和版本 2 报告称，一个指定身份的系统提示词在四个开放权重语言模型的末层隐藏状态轨迹中留下了几何指纹，并且指令微调将该指纹从隐藏状态向量的方向转移到其幅度。对其代码和数据的审计发现如下。被描述为欧几里得 k-NN 图上的 Ollivier-Ricci 曲率的曲率统计量，实际上是在由时间 k-NN 边和余弦 k-NN 边构建的图上的一种非标准 Forman 型边统计量。其发布的检验置换的是合并后的边而非轨迹，且所公布的 p 值来自未发布的代码。被报告为第一个生成状态范数的量，是最后一个提示词位置处的状态，第一个输出 token 正是由该状态预测得出。通用对照提示词与身份提示词在字符数上匹配，而非在 token 数上匹配。本版本修正了方法，撤回了特定机制下的结论（每个机制一个模型）以及方向到幅度的结论，并在增加对照后重新分析了数据。留存下来的结论更为有限。质心距离、最大均值差异和线性探针在每一个模型中都能区分每一对提示词条件，而曲率统计量在十二项比较中仅有四项超过其分半噪声下限。在 Gemma-4-E4B-it 中，该状态在身份提示词下的范数低于在 token 长度匹配的通用提示词下的范数（138.1 对 216.5；Cohen's d = -5.45；n = 20）。其方向也能区分这些条件，且该效应符合该状态在规划输出中的作用：身份提示词指示在每次回答前暂停，而模型在 100 条回复中有 98 条以暂停标记开头。当第一个 token 被固定时，范数排序发生反转。基础模型会继续提示词模板而非作答。一项重新设计的后续研究正在准备中。

评论：	v3：重大修正，取代 v1-v2。被报告为 Ollivier-Ricci 的曲率实际上是时间加余弦 k-NN 图上的一种 Forman 型统计量，在边级别进行检验。特定机制下的结论以及方向到幅度的结论均已撤回。新增：简单基线、分半、轨迹级别和 token 长度匹配的对照。14 页，1 幅图，9 张表
学科：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2607.09842 [cs.LG]
	（或本版本使用 arXiv:2607.09842v3 [cs.LG]）
	https://doi.org/10.48550/arXiv.2607.09842 arXiv 颁发的 DOI 经由 DataCite

提交历史

来自：Jorge Castillo [查看电子邮件]
[v1] 2026 年 7 月 10 日星期五 17:22:36 UTC（22 KB）
[v2] 2026 年 8 月 1 日星期六 03:44:05 UTC（366 KB）
[v3] 2026 年 10 月 8 日星期四 01:08:49 UTC（39 KB）