arXiv cs.CL· Hanwen Zhang, Enyi Jiang, Ruike Zhu, Qinan Yu, Sanmi Koyejo·· 11 小时前AI 评分42
REACT：思维链轨迹的表征早期分析与控制
REACT: Representational Early Analysis and Control of Chain-of-Thought Trajectories
AI 导读
REACT 通过在早期 CoT 隐藏状态上施加一次条件激活干预来控制推理模型的安全轨迹，模型权重保持冻结、后续 token 不再修改。研究在三个蒸馏推理模型上发现最强增益集中在第 2-3 个 token 的早期窗口，DeepSeek-R1-Distill-Llama-8B 到第 4、5 个 token 时效果降至接近零。
正文 · AI 翻译
摘要：思维链（CoT）生成提供了在推理模型完成其答案之前进行干预的机会。但风险最容易被检测到的时点，是否也提供了最有效的控制？我们通过 REACT 研究这一问题，这是一种条件激活干预方法，它从成对的安全与不安全轨迹中学习一个安全方向，并将其一次性应用于早期 CoT 隐藏状态。模型权重保持冻结，所有后续 token 的生成不再进行进一步编辑。为研究时机，我们分别在前五个 CoT 位置中的每一个位置训练方向，并在完整编辑后重新生成的情况下评估无门控编辑。在三个蒸馏推理模型和三个生成种子上，最强的增益集中在两到三个 token 的早期窗口内；在 DeepSeek-R1-Distill-Llama-8B 上，该效应在第四和第五个 token 处降至约零，尽管后续状态可能对风险更具预测性。这将风险可读性与有效控制区分开来：干预时机必须通过其对后续生成的影响来评估。在同一 8B 模型上，REACT 将 StrongREJECT-273 上完全安全的 CoT-答案输出率从 29.06% 提升至 82.05%，同时使良性拒绝和有用性保持在基线附近。匿名实现可在 此 https URL 获取。
| 评论： | 26 页，2 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32113 [cs.LG] |
| （或 arXiv:2610.32113v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32113 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hanwen Zhang [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 03:28:34 UTC（155 KB）
来源：arXiv cs.CL · arxiv.org