arXiv cs.CL· Zesheng Shi, Xue Li, Chenrui Dai, Jing Li·· 11 小时前AI 评分32
EDIC：面向外部数据 LLM 的逐指令合规控制框架
Identify, Classify, Act: Per-Instruction Controlled Compliance for LLMs over External Data
AI 导读
研究者提出 EDIC 分解式奖励框架，将外部数据中的每条嵌入指令按“识别-分类-执行”逐条判定合规，分别奖励有益指令遵循、惩罚有害指令遵循。在两种基座模型和五个基准上，EDIC 相比最强先前防御将有害指令拒绝率最高提升 7.7%，Qwen3-4B 上 Arena-Hard-Auto 效用提升 12.5%。代码已开源。
正文 · AI 翻译
摘要：LLM 在处理外部数据时面临一种逐指令的张力：单个文档或工具返回往往将合法指令与对抗性提示注入交织在一起，模型必须遵循前者而拒绝后者。现有防御要么抑制、要么信任所有外部指令，从而压缩了安全-效用前沿，迫使在过度拒绝与过度遵从之间做出选择。我们认为缺失的能力是 \textbf{逐指令信用归因}，并将其形式化为外部数据指令分类，即对每条嵌入指令进行识别-分类-行动的决策。我们提出 \textbf{EDIC}，一个用于逐指令遵从的分解式奖励框架。一个基于场景的流水线注入混合的有益与有害指令并进行反事实过滤，而一个生成式评判器先由 SFT 初始化，再用 GRPO 精炼，以在指令层面归因遵从行为。随后该评判器产生一个奖励，在 RL 训练中分别鼓励对有益指令的遵从并惩罚对有害指令的遵从。在两个骨干模型和五个基准上，EDIC 在安全性和效用上均优于最强的先前防御，在 Qwen3-4B 上将有害拒绝率提升最多 7.7\%，将 Arena-Hard-Auto 效用提升 12.5\%。代码仓库托管于 此 https URL。
| 学科： | 计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.22874 [cs.CL] |
| （或 arXiv:2610.22874v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22874 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | EMNLP2026 |
提交历史
来自：Shi Zesheng [查看邮箱]
[v1]
2026年10月16日星期五 03:24:08 UTC（4,592 KB）
来源：arXiv cs.CL · arxiv.org