arXiv cs.AI· Haoming Yang, Ke Ma, Yangbangyan Jiang, Ligong Zhang, Xiaojun Jia, Longtao Huang, Yingfei Sun, Qianqian Xu, Qingming Huang·· 3 天前AI 评分38
LLM 推理中的叙事悖论:将推理轨迹导向失准
Narrative Paradoxes in LLM Inference: Shaping Reasoning Trajectories toward Misalignment
AI 导读
研究者提出 PDRA(Paradox-driven Reasoning-based Attack),通过将恶意行为者与良性任务配对构建悖论叙事核心,并嵌入强制三阶段分析框架(表层目的、潜在意图、操作重建),引导 LLM 生成有害内容。该攻击使模型内部表征偏离拒绝相关模式,抑制安全触发词并激活规划类词汇,在多种 LLM 上取得 SOTA 攻击成功率。
正文 · AI 翻译
摘要:大语言模型(LLM)中的显式推理通常被认为与可靠性相关,但当模型在良性语境下推断出有害目标时,它仍可能带来风险。我们识别出一个独特的挑战:确保\emph{多步推理过程}本身的安全性,其中局部连贯的步骤仍可能导致全局有害的结果。为探究这一漏洞,我们提出 PDRA(Paradox-driven Reasoning-based Attack,悖论驱动的推理攻击),一种新型攻击方法,可对有害推理轨迹进行编程。PDRA 首先通过将恶意行为者(例如恐怖分子)与良性任务(例如撰写安全公告)配对,构建一个悖论式叙事核心。随后,它将该核心嵌入一个结构化分析框架,迫使模型经历强制性的三阶段分析——表层目的、潜在意图和操作重构——引导其生成详细的有害内容,同时保持叙事连贯性。在机制层面,我们表明 PDRA 将模型的内部表征引导偏离与拒绝相关的模式,抑制触发安全机制的词汇,同时激活面向规划的术语。在实证层面,PDRA 在多种 LLM 上以高效率实现了最先进的攻击成功率。\textcolor{red}{\textbf{警告:} 本文可能包含敏感内容。}
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.16312 [cs.AI] |
| (或 arXiv:2610.16312v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.16312 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Haoming Yang [查看邮箱]
[v1]
2026年10月12日星期一 07:38:37 UTC(1,670 KB)
来源:arXiv cs.AI · arxiv.org