arXiv cs.AI· Yunju Kang, Seonghyeon Cho, Irene Li, Yeo-Chan Yoon, Chanjun Park·· 10 天前AI 评分25
POLAR:面向工具调用 LLM 智能体的本体引导风险预防框架
POLAR: Ontology-Guided Risk Prevention for Tool-Calling LLM Agents
AI 导读
POLAR 是一个面向小型工具调用 LLM 智能体的护栏框架,通过结构化双层本体评估动作可逆性,为每个动作给出分级可逆性分数,未达阈值的调用在执行前被剪枝。在 τ²-bench 上评测六种智能体模型,POLAR 使其中四个模型在 airline 域的平均任务奖励提升 0.11 至 0.18 分,但十八个模型—领域组合中仅八个整体改善,retail 域及更强模型常出现回退。
正文 · AI 翻译
摘要:LLM 工具使用智能体运行于动态环境中,许多操作都带有运营风险。然而,大多数安全机制仅在错误显现后才做出反应。现有的先发制人方法要么在思维链推理上对智能体进行微调,要么将自然语言护栏编译为运行时检查,但这些方法都没有给出一个结构化、可审计的判定。我们提出 POLAR,一个面向小型工具调用智能体的护栏框架,通过结构化的双层本体来评估可逆性。POLAR 通过推导候选逆操作序列,为每个操作赋予一个分级可逆性分数;未达到阈值的调用会在执行前被剪除。在 $\tau^2$-bench 上对六个智能体模型进行评估,POLAR 在 airline 上使六个智能体中的四个平均任务奖励提升 0.11 至 0.18 分,但十八个模型—领域单元中总体仅八个有所提升;retail 和更强的智能体往往出现退化。POLAR 提供了一种可审计的结构化检查,并刻画了其任务效用权衡。奖励并非防止伤害的直接度量。
| Comments: | 被 AACL-IJCNLP 2026 Findings 接收 |
| Subjects: | 人工智能(cs.AI);计算与语言(cs.CL) |
| Cite as: | arXiv:2610.08082 [cs.AI] |
| (或使用 arXiv:2610.08082v1 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2610.08082 由 DataCite 颁发的 arXiv DOI(待注册) |
Submission history
来自:Seonghyeon Cho [查看邮箱]
[v1]
2026年10月6日星期二 10:14:16 UTC(1,431 KB)
来源:arXiv cs.AI · arxiv.org