arXiv cs.AI· Rose N. Kwon, Samy Mammeri, Sabyasachi Sahoo, Christian Gagn\'e, Thomas Jiralerspong·· 23 小时前AI 评分31
隐藏状态相似度可预测接种提示后的行为复现
Hidden-State Similarity Predicts Re-Elicitation After Inoculation Prompting
AI 导读
研究发现,评估提示能否重新诱发接种提示所抑制的有害行为,文本相似度并非完整预测指标;当提示诱发的激活状态与接种上下文相似时,行为更易复现。该结果推进了对接种提示如何调节条件性失配的理解,并表明激活空间分析可帮助识别被抑制行为在评估提示下是否仍可被触及。
正文 · AI 翻译
摘要:在狭窄的有害任务上进行微调可能引发涌现性失准,即模型会将有害行为泛化到训练分布之外。接种式提示可以通过在训练期间显式引出不良行为来减轻这种效应,但近期研究表明,当评估提示包含来自训练上下文的线索时,该行为可能重新出现。我们研究了是什么使这类提示成为有效的触发因素。我们发现,令人意外的是,与接种提示的文本相似度是一个不完整的预测指标。相反,当提示诱导出与接种上下文所产生的激活状态相似的激活状态时,它们更有可能重新引出被抑制的行为。这些发现推进了我们对接种式提示如何调节条件性失准的理解,并表明激活空间分析有助于识别被抑制的行为在评估时提示下何时仍然可被访问。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.23096 [cs.AI] |
| (或 arXiv:2611.23096v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23096 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Rose Nayoung Kwon [查看电子邮件]
[v1]
2026年11月17日星期二 17:20:33 UTC(402 KB)
来源:arXiv cs.AI · arxiv.org