arXiv cs.AI· Kangkang Li, Kelvin Luu, Lily Ma, Tu Trinh, Ying Liu, Mohamed Elfeki·· 11 小时前AI 评分52
BARC-Bench：看似无害的请求，暗藏风险的后果
BARC-Bench: Benign Asks, Risky Consequences
AI 导读
研究者提出 BARC-Bench，包含 9 个模拟工作环境中的 110 个任务，这些任务表面无害，却为不安全操作留下空间，用于评估智能体是否遵守由工作区记录、隐含环境上下文和未明说社会规范构成的安全边界。
正文 · AI 翻译
摘要：用户为智能体提供的任务指令本质上是不充分的，尤其是在安全边界方面——这会造成行为风险。为研究这些风险，我们推出了 BARC-Bench，它包含 110 项任务，覆盖九个模拟工作环境，其中良性请求为不安全行为留下了可乘之机。在该基准中，我们依据工作区记录、隐含的环境上下文以及未明说的社会规范所确立的安全边界来评估智能体行为。例如，被要求安排离职讨论的智能体必须安排该会议，同时不能通过共享日历邀请提前泄露某位员工的辞职信息。对四种前沿模型配置在每项任务上各进行五次尝试的评估显示，模型并非始终安全：在全部五次尝试中均安全完成的任务占比从 9.1% 到 72.7% 不等，即便是最强的配置也在 27.3% 的任务上产生了安全违规。这些结果凸显了一种不对称的操作风险：尽管模型经常能完成复杂的工作流程，但它们无法始终遵守未明说的边界，这构成了安全自主委托的一大障碍。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32024 [cs.AI] |
| （或 arXiv:2610.32024v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32024 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tu Trinh [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 00:53:24 UTC（152 KB）
来源：arXiv cs.AI · arxiv.org