arXiv cs.CL· Yu Fu, Haz Sameen Shahgir, Huanli Gong, Zhipeng Wei, N. Benjamin Erichson, Yue Dong·· 10 小时前AI 评分58
推理 LLM 在长上下文中会拒绝自己推断出的有害目标吗？
Do Reasoning LLMs Refuse What They Infer in Long Contexts?
AI 导读
论文提出组合式推理攻击：把有害请求拆成语义不完整的片段嵌入长上下文，最终查询本身保持中性，模型需检索并组合片段才能推断出隐含的有害目标。实验显示，模型对明确陈述的有害请求通常会拒绝，但当同一目标需从片段重建时拒绝率下降，且上下文越长越明显；分析表明这一差距不能仅用检索困难解释，模型往往能重建有害目标却未可靠拒绝。
正文 · AI 翻译
摘要：长上下文 LLM 能够推断出未明确陈述的目标。这一能力对于文档、代码和工具轨迹的推理很有用，但也引入了安全风险。有害意图可以分散在上下文中，只有在模型将相关信息组合起来后才会显现。现有的安全评估主要关注明确陈述的有害请求，因此未能完全捕捉这种失效模式。我们引入了组合推理攻击，这是一种长上下文攻击设置，其中有害请求被分解为语义上不完整的片段并嵌入长上下文中。最终查询是中性的，模型必须检索并组合这些片段以推断出隐含的有害目标。从经验上看，我们表明当有害请求被明确陈述时，模型通常会拒绝。然而，当同样的目标必须从片段中重建时，拒绝率会下降，而且这些失败在更长的上下文中往往更加明显。我们的分析表明，这一差距不能仅用检索困难来解释。模型通常能够重建有害目标，但不能可靠地拒绝它。增加推理时的推理努力可以提高拒绝率，但计算成本更高，且不安全的响应仍然会发生。我们的结果揭示了一个长上下文安全差距：模型更擅长拒绝它们看到的有害请求，而不是它们推断出的有害目标。
| 评论： | 已被 NIPS2026 接收 |
| 主题： | 计算与语言 (cs.CL)；密码学与安全 (cs.CR) |
| 引用为： | arXiv:2602.08874 [cs.CL] |
| （或 arXiv:2602.08874v3 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2602.08874 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yu Fu [查看电子邮件]
[v1]
2026年2月9日星期一 16:35:14 UTC (469 KB)
[v2]
2026年5月14日星期四 02:54:57 UTC (444 KB)
[v3]
2026年11月9日星期一 22:14:39 UTC (436 KB)
来源：arXiv cs.CL · arxiv.org