arXiv cs.AI· Yuchuan Fu, Minghe Wang, Xiaohan Yuan, Chenlin Zou, Kaitong Jia, Jinfeng Li, Dongxia Wang·· 10 小时前AI 评分38
RAS-Eval：基于规约的 LLM 智能体工具调用长程任务安全评估框架
Specification-based Security Evaluation of Real-World Agents Tool-Calling under Long-Horizon Context Tasks
AI 导读
研究者提出 RAS-Eval，一个基于规约的 LLM 智能体安全评估框架，将效用与安全目标统一表达为工具调用轨迹和动态环境观测上的线性时序逻辑（LTL）规约，并用现成模型检查器验证，从而给出确定性判定、避免 LLM-as-a-Judge 与 Agent-as-a-Judge 的评估器不确定性。
正文 · AI 翻译
摘要：随着大语言模型（LLM）智能体越来越多地部署在长时程无人值守场景中，部署前的安全评估变得日益必要且具有挑战性。现有评估方法主要遵循 LLM-as-a-Judge 或 Agent-as-a-Judge 范式。然而，这类评判器本身往往容易产生幻觉，甚至可能受到扰动的影响。此外，由于在开放式环境中每一步都捕获完整环境状态通常代价高昂，现有评估通常依赖文本日志和最终环境状态。因此，它们可能遗漏在轨迹结束前被覆盖或从未反映在文本日志中的瞬时违规。我们提出 RAS-Eval，一个基于规范的 LLM 智能体安全评估框架。RAS-Eval 将效用和安全目标统一表达为关于工具调用轨迹和动态环境观测的线性时序逻辑（LTL）规范，并使用现成的模型检查器进行验证。该设计解决了上述两个局限。首先，与 LLM-as-a-Judge 和 Agent-as-a-Judge 不同，RAS-Eval 从形式化定义的属性中得出确定性判定，消除了评估器侧的不确定性，即使对长时程轨迹也保持可靠。其次，RAS-Eval 精确观测判定所依赖的状态，使得在整个执行过程中监控环境变得可负担，并能检测在日志或最终环境状态中几乎不留痕迹的瞬时违规。此外，我们设计了一个基于多智能体的数据集构建流水线。利用它，我们构建了一个基准（此 https URL），包含 200 个正常任务和 800 个攻击任务，涵盖四个攻击面：间接提示注入、工具投毒、技能代码注入和工具代码注入。
| 评论： | 22 页，5 张图 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2506.15253 [cs.CR] |
| （或 arXiv:2506.15253v2 [cs.CR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2506.15253 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuchuan Fu [查看邮箱]
[v1]
2025 年 6 月 18 日星期三 08:30:36 UTC（166 KB）
[v2]
2026 年 11 月 10 日星期二 06:46:10 UTC（515 KB）
来源：arXiv cs.AI · arxiv.org