arXiv cs.CL· Isotta Magistrali, Chen Shani·· 11 小时前AI 评分38
单独对齐、集体失守：预测 LLM 智能体群体中的对抗性捕获
Aligned Alone, Misaligned Together: Forecasting Adversarial Capture in LLM Agent Populations
AI 导读
研究在安全分诊任务中发现，单独判断几乎一致的 LLM 智能体，在群体中面对持续主张同一决策的“坚定少数派”时会产生截然不同的集体结果，个体审计无法可靠预测群体行为。
正文 · AI 翻译
摘要：AI 安全评估通常一次只评估一个模型。但语言模型智能体越来越多地以群体形式运作，它们会读取并回应彼此的决策。一个单独运行时能做出可靠决策的模型，在被其他智能体包围时可能表现不同。个体可靠的智能体能否被集体操纵，我们能否预测群体反应的强度？我们在一个安全分诊任务中研究这个问题，其中由 LLM 监控器组成的群体决定是升级还是驳回警报。我们引入一个坚定的少数派智能体群体，它们始终主张某一决策，并测量其存在如何改变群体行为。我们发现，孤立智能体几乎相同地判定的警报，可能产生截然不同的集体结果。因此，个体审计无法可靠地预测群体行为。然而，集体脆弱性并非不可预测：仅使用良性的、无对抗的行为，我们校准出一个响应函数，能在攻击发生之前预测群体在未来攻击下会偏移多强。接下来我们考察交互和时间如何塑造这些结果。允许智能体观察彼此的推理可以削弱对抗影响，但不能可靠地防止被俘获。然而，俘获未必是永久的。在对抗者被移除或替换后，群体平均行为会回到其原始水平，即使在五轮或三十轮压力之后也是如此。这些发现与一个校准的单稳定态模型一致，其中对抗压力会移动工作点，但不会产生第二个自维持状态。同样的校准能预测 24 个和 48 个智能体群体的攻击响应。孤立状态下的对齐并不保证群体中的对齐。但群体在攻击前的行为可以揭示当攻击到来时它将如何反应。
| 评论： | 被接收为 NeurIPS 2026 人机耦合系统动态对齐研讨会（BiAlign）的口头报告，以及 NeurIPS 2026 SocialAgent 研讨会（第二届大型语言模型社会推理与模拟研讨会）的海报。 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.22444 [cs.CL] |
| （或此版本的 arXiv:2608.22444v3 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2608.22444 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Isotta Magistrali [查看邮箱]
[v1]
2026 年 8 月 23 日周日 14:49:59 UTC（1,210 KB）
[v2]
2026 年 8 月 27 日周四 12:35:05 UTC（1,236 KB）
[v3]
2026 年 10 月 30 日周五 22:00:35 UTC（1,457 KB）
来源：arXiv cs.CL · arxiv.org