arXiv cs.AI· Ben Slater, Ryan Lundqvist, Leo Richter, Kevin Wei·· 3 天前AI 评分29
为 AI 审计器提供额外上下文会如何影响 LLM 编码智能体审计效果
Audit tools of the trade: Automated Auditor Elicitation Can Be Sensitive to the Context the Auditor Is Given
AI 导读
研究用 Petri 工具审计 LLM 编码智能体，测试向 LLM 审计器提供外部代码库和 benchmark 转录两类资源的影响。
正文 · AI 翻译
摘要：为自动化 AI 审计员提供额外上下文能否提升其有效性？我们使用 Petri 工具审计 LLM 编码代理，测试向 LLM 审计员提供两类资源（外部代码库和基准测试记录）的影响，涵盖四组审计员-目标 LLM 配对和三种行为（有害顺从、奖励黑客、谄媚）。(1) 外部代码库：我们向审计员 LLM 提供一个固定的外部开源代码库，先前工作发现这能提升合成审计的真实性。提供该资源抑制了两组基线率高于下限的审计员-目标配对中的奖励黑客行为（在 Petri 默认的 1-10 量表上从 4.8 降至 1.3，从 3.9 降至 1.8）；其余两组配对始终处于下限。该抑制效应在另一场景和资源组合下于四组配对中的三组中重现。(2) 外部基准测试记录：我们向审计员提供目标在衡量类似行为的基准测试上的表现记录，旨在让审计员了解目标的行为模式。提供该资源提升了全部四组配对中的奖励黑客评分（其中一组从 1.7 升至 6.1）。然而，后续实验表明，仅提供相关基准测试的摘要而不提供记录，同样会增加奖励黑客行为，且在同一行为的另一种表述框架下该效应消失。总体而言，我们发现除奖励黑客行为外，两种资源均无一致效应，但我们发现评判者评分的行为在不同条件下存在显著差异。我们的结果凸显了使用 Petri 等工具进行谨慎试点的重要性，因为所测得的目标行为率对配置决策高度敏感。我们希望我们的结果能激发更多关于自动化对齐审计可靠性和稳健性的研究。
| 评论： | 23 页，13 幅图，9 张表。被 NeurIPS 2026 第三届野外代理研讨会：安全、安保与超越（AIWILD）接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16911 [cs.AI] |
| （或 arXiv:2610.16911v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16911 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Ben Slater [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 14:57:55 UTC（195 KB）
来源：arXiv cs.AI · arxiv.org