arXiv cs.CY· Jairo Gudi\~no-Rosero, Juan Ignacio Zambrano, Umberto Grandi, C\'esar A. Hidalgo·· 10 天前AI 评分27
推理能力提升 LLM 共识生成对提示词注入的鲁棒性
Reasoning Enhances Robustness to Prompt Injection in LLM-Based Consensus
AI 导读
研究发现，现成 LLM 在生成共识声明时普遍易受提示词注入攻击，尤其在意见分歧均衡、采用理性指令式修辞策略，以及攻击将共识引向 GB-unionist 保守派立场时更为脆弱。结合 GPT-OSS-SafeGuard 注入检测、结构化意见表示与 GSPO 强化学习的鲁棒性流程可大幅减少方向性失败，优于现有最先进方案。
正文 · AI 翻译
摘要：大型语言模型（LLM）作为在数字民主实验中生成共识声明和聚合偏好的一种方法，正日益受到关注。然而，参与者可能会在基于 LLM 的系统中引入关键漏洞。在此，我们考察现成共识生成型 LLM 对提示注入攻击的脆弱性和鲁棒性，此类攻击包括引入经过策略性设计的文本，以放大特定观点、抹除某些意见，或将共识引向无关或不相关的话题。利用从 2023 年在英国进行的一项实验中收集的数据，并预先设定多数决规则，我们构建了包含公共政策问题和意见文本的无攻击与对抗性提示变体，使用微调的 BERT 模型对意见和共识效价进行分类，并估计 LLM 与人类多数一致率。总体而言，我们发现默认 LLM 表现出广泛的脆弱性，尤其是在以下情况下：(i) 分歧与一致 finely 平衡，(ii) 在理性的、类似指令的修辞策略下，以及 (iii) 对于将共识转向与 GB 统一派保守派宣言一致、而非支持独立的左翼宣言的立场的攻击。一个结合 GPT-OSS-SafeGuard 注入检测、结构化意见表示和基于 GSPO 的强化学习的鲁棒性流程大幅减少了方向性失败，优于最先进的替代方案。虽然更有效的检测器可能使更复杂的攻击成为可能，但这些发现增进了我们对数字民主应用中共识生成型 LLM 的脆弱性和潜在防御的理解。
| 评论： | 29 页 |
| 主题： | 计算机与社会（cs.CY）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2508.04281 [cs.CY] |
| （或 arXiv:2508.04281v5 [cs.CY] 为本版本） | |
| https://doi.org/10.48550/arXiv.2508.04281 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jairo Gudiño-Rosero [查看电子邮件]
[v1]
2025 年 8 月 6 日星期三 10:10:01 UTC（25,267 KB）
[v2]
2025 年 11 月 10 日星期一 14:20:03 UTC（23,756 KB）
[v3]
2026 年 1 月 8 日星期四 21:11:43 UTC（12,598 KB）
[v4]
2026 年 2 月 28 日星期六 21:46:28 UTC（9,707 KB）
[v5]
2026 年 10 月 7 日星期三 13:40:55 UTC（9,329 KB）
来源：arXiv cs.CY · arxiv.org