arXiv cs.CL· Youmna Farag, Svetlana Stoyanchev, Simon Keizer, Mohan Li, Rama Doddipatla·· 11 小时前AI 评分41
CAPSafe：面向具身智能体上下文动作与计划安全推理的基准
CAPSafe: A Benchmark for Contextual Action and Plan Safety Reasoning in Embodied Agents
AI 导读
研究者提出 CAPSafe 基准，从动作级和计划级两个层面评估 LLM 具身智能体的安全推理，覆盖情境性危险、多危险共现及相对严重程度标注。评测 9 个闭源与开源 LLM 显示，最佳模型识别不安全动作准确率超 90%，但安全长程规划明显更难，Gemini-3-pro 安全成功率最高为 78.19%，其余模型均低于 65%。
正文 · AI 翻译
摘要：对由大语言模型（LLM）驱动的具身智能体而言，安全推理至关重要。我们提出了上下文动作与计划安全基准（CAPSafe），旨在从两个层面评估安全推理：（1）动作级数据集，测试单个动作在给定环境上下文中是否安全；（2）计划级数据集，评估智能体能否为复杂危险的家务任务生成安全的长时程计划。CAPSafe 对危险具有情境性（由物体属性推断）、同一环境中可能同时存在多种危险、且每种危险均标注了相对严重程度等级以支持细粒度分析的安全条件进行建模。对九个闭源与开源 LLM 的评估揭示了危险识别与安全长时程规划之间的显著差距。若干模型在识别不安全动作方面达到高准确率（最佳情况下超过 90%），但安全长时程规划仍明显更为困难。Gemini-3-pro 取得了最高的安全成功率（78.19%），而其他模型均低于 65%。这些结果表明，对长动作序列进行稳健的安全推理仍是一个未解决的挑战。
| 学科： | 机器人学（cs.RO）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28381 [cs.RO] |
| （或 arXiv:2610.28381v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28381 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | REALM 2026 |
提交历史
来自：Youmna Farag [查看邮箱]
[v1]
2026年10月20日星期二 15:33:20 UTC（251 KB）
来源：arXiv cs.CL · arxiv.org