arXiv cs.AI· Tony Mason·· 9 天前AI 评分32
Arbiter：检测 LLM 智能体系统提示词中的干扰模式
Arbiter: Detecting Interference in LLM Agent System Prompts
AI 导读
Arbiter 结合形式化评估规则与多模型 LLM 扫描，检测 LLM 编程智能体系统提示词中的干扰模式。对 Claude Code、Codex CLI 和 Gemini CLI 三个系统提示词的分析共发现 152 项扫描结果，并在针对单一厂商的定向分析中人工标注出 21 种干扰模式。
正文 · AI 翻译
摘要：面向基于 LLM 的编码智能体的系统提示词是支配智能体行为的软件制品，却缺乏应用于传统软件的测试基础设施。我们提出 Arbiter，一个将形式化评估规则与多模型 LLM 扫描相结合的框架，用于检测系统提示词中的干扰模式。将其应用于三个主流编码智能体系统提示词：Claude Code（Anthropic）、Codex CLI（OpenAI）和 Gemini CLI（Google），我们在无定向扫描阶段识别出 152 项发现，并在对一家供应商的定向分析中人工标注出 21 个干扰模式。我们表明，提示词架构（单体式、扁平式、模块化）与观察到的故障类别高度相关，但与严重程度无关，并且多模型评估发现的漏洞类别与单模型分析存在本质差异。一项扫描器发现——Gemini CLI 记忆系统中的结构性数据丢失——与 Google 提交并修补的一个问题一致，该修补解决了症状，却未解决扫描器所识别的模式层面根本原因。跨供应商分析的总成本：0.27 美元。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；密码学与安全（cs.CR）；编程语言（cs.PL） |
| 引用为： | arXiv:2603.08993 [cs.SE] |
| （或使用 arXiv:2603.08993v2 [cs.SE] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.08993 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Tony Mason [查看电子邮件]
[v1]
2026年3月9日星期一 22:29:47 UTC（52 KB）
[v2]
2026年10月7日星期三 23:03:53 UTC（51 KB）
来源：arXiv cs.AI · arxiv.org