arXiv cs.CL· Chaemin Jang, Donggyu Lee, Jeesoo Kim, Dongman Lee, Jihee Kim·· 2 天前AI 评分32
用无标签子空间分离语言模型的判断与表达
Isolating a Language Model's Judgment with a Label-Free Subspace
AI 导读
研究者发现，同一输入在不同指令下隐藏状态向量的差异集中在一个低维"表达子空间"中，无需基准标签即可识别该子空间，并从线性预测器中移除其贡献以获得"孤立判断"。在正确性、蕴含和安全任务上，孤立判断在未见指令下仍保持可靠；当判断问题被否定时，蕴含任务 AUROC 从 0.504 升至 0.825，安全任务从 0.480 升至 0.891。判断在表达子空间干扰预测器之前的更早层即可读出。
正文 · AI 翻译
摘要：语言模型经常被要求做出判断：一个提出的答案是否正确、一个陈述是否逻辑上从另一个陈述推出，或者一个回复是否安全。然而，改变规定判断应如何表达的指令，即使对于相同的输入，也可能使最终答案变得不那么可靠。我们探究这反映的是内部判断的变化，还是表达判断的失败。比较相同输入在不同指令下的隐藏状态向量，我们发现它们的差异集中在一个低维的表达子空间中。我们在没有基准标签的情况下识别出这个子空间，并从线性预测器中移除其贡献，以获得一个孤立的判断。在正确性、蕴含和安全方面，即使模型的最终答案和原始预测器退化，孤立的判断在未用于识别该子空间的指令下仍然可靠。当判断问题被否定时，孤立化将预测器在蕴含上的 AUROC 从 0.504 提高到 0.825，在安全上从 0.480 提高到 0.891。我们还发现，判断在更早的层中就可读，早于表达子空间开始干扰预测器。总之，这些结果提供了一种将判断与表达分离的方法，并在模型的最终答案不可靠时恢复内部判断。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21256 [cs.LG] |
| （或 arXiv:2610.21256v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21256 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chaemin Jang [查看电子邮件]
[v1]
2026年10月15日星期四 04:49:49 UTC（118 KB）
来源：arXiv cs.CL · arxiv.org