跳到正文
arXiv cs.AI· Haoming Yang, Ke Ma, Yangbangyan Jiang, Ligong Zhang, Xiaojun Jia, Longtao Huang, Yingfei Sun, Qianqian Xu, Qingming Huang·· 3 天前AI 评分38

LLM 推理中的叙事悖论:将推理轨迹导向失准

Narrative Paradoxes in LLM Inference: Shaping Reasoning Trajectories toward Misalignment

AI 导读

研究者提出 PDRA(Paradox-driven Reasoning-based Attack),通过将恶意行为者与良性任务配对构建悖论叙事核心,并嵌入强制三阶段分析框架(表层目的、潜在意图、操作重建),引导 LLM 生成有害内容。该攻击使模型内部表征偏离拒绝相关模式,抑制安全触发词并激活规划类词汇,在多种 LLM 上取得 SOTA 攻击成功率。

正文 · AI 翻译

查看 PDF

摘要:大语言模型(LLM)中的显式推理通常被认为与可靠性相关,但当模型在良性语境下推断出有害目标时,它仍可能带来风险。我们识别出一个独特的挑战:确保\emph{多步推理过程}本身的安全性,其中局部连贯的步骤仍可能导致全局有害的结果。为探究这一漏洞,我们提出 PDRA(Paradox-driven Reasoning-based Attack,悖论驱动的推理攻击),一种新型攻击方法,可对有害推理轨迹进行编程。PDRA 首先通过将恶意行为者(例如恐怖分子)与良性任务(例如撰写安全公告)配对,构建一个悖论式叙事核心。随后,它将该核心嵌入一个结构化分析框架,迫使模型经历强制性的三阶段分析——表层目的、潜在意图和操作重构——引导其生成详细的有害内容,同时保持叙事连贯性。在机制层面,我们表明 PDRA 将模型的内部表征引导偏离与拒绝相关的模式,抑制触发安全机制的词汇,同时激活面向规划的术语。在实证层面,PDRA 在多种 LLM 上以高效率实现了最先进的攻击成功率。\textcolor{red}{\textbf{警告:} 本文可能包含敏感内容。}
学科: 人工智能(cs.AI)
引用为: arXiv:2610.16312 [cs.AI]
  (或 arXiv:2610.16312v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.16312

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Haoming Yang [查看邮箱]
[v1] 2026年10月12日星期一 07:38:37 UTC(1,670 KB)

来源:arXiv cs.AI · arxiv.org