arXiv cs.AI· Zhiwei Xu, Xuyang Liu, Xiaolin Peng, Weixian Deng, Jiabao Gao, Zirui Li, Tian Qiu, Boya Zhou, Wei Jiao, Hai Wan, Xibin Zhao·· 14 小时前AI 评分31
TrustJev:将策略权限与不可信证据分离的 LLM 决策框架
TrustJev: Separating Policy Authority from Untrusted Evidence in LLM-Based Decisions
AI 导读
TrustJev 框架通过受保护策略评分与有界证据修正,将策略权限与不可信证据分离,防止外部证据中的指令覆盖应用策略。0.6B 实现在三个数据集上取得最高平均 Balance,较最强基线高 0.57-1.05 个百分点;授权基准中 95.77% 的来源能正确应对全部 32 个攻击,对比基线为 80.98%。推理内存与中位延迟相当,额外开销主要在训练阶段。
正文 · AI 翻译
作者:Zhiwei Xu、Xuyang Liu、Xiaolin Peng、Weixian Deng、Jiabao Gao、Zirui Li、Tian Qiu、Boya Zhou、Wei Jiao、Hai Wan、Xibin Zhao
摘要:决策模型使软件能够根据自然语言输入从预定义动作中进行选择。然而,为这些决策提供事实依据的外部证据也可能包含试图覆盖应用程序策略的指令。我们提出 TrustJev,一个将受保护策略评分与有界证据修正相结合的框架。单个 Transformer 主干网络根据可信策略和候选内容计算策略分数与修正预算,然后以该预算为界限制证据修正。配对监督鼓励在保留任务事实的指令插入下保持稳定预测,并在编辑改变正确答案时改变偏好。权威监督在仅凭策略无法确定决策时接纳证据。我们在涵盖身份验证、指令层级和可执行授权规则的三个数据集上,将 0.6B 实现与 14 个基线进行对比评估。TrustJev 取得了最高的平均 Balance(非攻击输入与攻击输入上准确率的调和平均值),在每个数据集上均超过最强基线 0.57 至 1.05 个百分点。在授权基准测试中,对于固定池中每个来源的全部 32 个攻击,它在 95.77% 的来源上均正确作答,而最强对比方法为 80.98%。TrustJev 保持了相当的推理内存和中位延迟,额外开销主要出现在训练期间。
| 评论: | 12 页 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.34826 [cs.AI] |
| (或 arXiv:2610.34826v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.34826 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zhiwei Xu [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 04:17:53 UTC(930 KB)
来源:arXiv cs.AI · arxiv.org