arXiv cs.AI· Jan Kirin·· 10 小时前AI 评分29
从循环 Transformer 内部状态读取人类偏好
Reading Human Preference from Looped Transformer Internal States
AI 导读
在每 token 运行四遍层的 Ouro-2.6B-Thinking 上,用 Anthropic HH-RLHF 数据可从隐藏状态判断人类更偏好哪条回复:线性探针准确率 61.5%,分别打分的非线性小网络 64.9%,v1 评估器在测试集达 64.7%。
正文 · AI 翻译
摘要:向一个冻结的语言模型展示对同一请求的两条回复,其中一条是人更偏好的。模型隐藏状态上的一个小探针能判断出是哪条吗?在 Ouro-2.6B-Thinking(一个每个 token 运行其层四次的模型)和 Anthropic 的 HH-RLHF 数据上,答案是肯定的,但只是微弱地肯定。一个线性探针有 61.5% 的概率挑出被偏好的回复,一个分别对每条回复打分的小型非线性网络达到 64.9%,而为版本 1 训练的评估器在测试集上达到 64.7%:明显优于诸如选择较长回复这样的简单规则,但很弱。偏好是作为两条回复之间的比较来存储,还是作为每条回复各自的属性来存储,目前仍无定论。线性探针无法判断,而一个同时读取两条回复的网络相比分别对每条回复打分的网络,估计优势仅为 0.7 个百分点(95% CI 0.0 至 1.4)。这些数字在三种控制下成立:以两种顺序对每一对打分、按对拆分数据,以及对于探针,保留每段对话的结尾(两条回复在此处不同)。版本 1 的 95.2% 和 84.5% 是在没有前两项控制的情况下获得的,并不成立;版本 2 的校正后关系探针准确率是在没有第三项控制的情况下获得的,低了四到五个百分点。本版本取代了这两者。
| 评论: | 版本 3 以重写的分析取代了原始手稿和 v2 勘误。它修正了可能移除被比较回复的探针截断问题,以两种回复顺序测试了原始评估器,并在按对不相交的拆分上比较了分别或联合对回复打分的线性和非线性探针 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2604.09870 [cs.LG] |
| (或 arXiv:2604.09870v3 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2604.09870 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jan Kirin [查看电子邮件]
[v1]
2026 年 4 月 10 日星期五 20:00:49 UTC(528 KB)
[v2]
2026 年 7 月 16 日星期四 14:16:06 UTC(533 KB)
[v3]
2026 年 11 月 18 日星期三 13:32:12 UTC(79 KB)
来源:arXiv cs.AI · arxiv.org