arXiv cs.CL· James P. Beno·· 10 小时前AI 评分45
决策模型作为编码智能体的策略门控：显式策略边界提升检测并减少误报
Decision Models as Policy Gates for Coding Agents: Explicit Policy Boundaries Improve Detection and Reduce False Alarms
AI 导读
研究将22个托管决策模型和两个提示式通用模型用作多规则策略引擎的分类器，在2,643条工具调用的合成数据集上按28条规则盲标评测。以示例与反例写出显式边界后，全部23个可用模型的召回率提升5.5-26.1个百分点，21个模型误报下降；Jev 1.14召回率从89.3%升至98.2%，252个干净操作中的不必要中断从30.6%降至4.8%。
正文 · AI 翻译
摘要：编码智能体可能在人类来得及审查之前就销毁数据、泄露机密并给错误的人发消息。决策模型能否在运行时捕捉这些风险？我们将 22 个托管决策模型和两个经提示的通用模型作为多规则策略引擎的分类器进行了评估。一个包含 2,643 次工具调用的合成数据集针对 28 条规则进行了盲标注，并设有密封的留出集。在两种条件下使用同一共享前言时，以示例和反例形式写出的明确边界使全部 23 个可用模型的召回率提高了 5.5-26.1 个百分点，并使 21 个模型的误报减少。Jev 1.14 的召回率从 89.3% 升至 98.2%，而不必要的打断从 252 个干净操作中的 30.6% 降至 4.8%。使用示例时，其中位延迟为 120 毫秒，每千次请求 0.46 美元。当具体名称被替换为通用描述时，强模型仍保持了召回率提升；当同样的边界以散文形式写出时，有三个模型基本保持了提升。在初始研究之后编写的 16 个新场景上，后续改进提高了 23 个模型中 22 个的召回率，并减少了 21 个模型的不必要打断。我们发布了数据集、规则文本和测试框架。
| 评论： | 15 页，2 幅图。数据集、规则文本和测试框架可在 此 https URL 获取 |
| 主题： | 计算与语言（cs.CL）；密码学与安全（cs.CR）；软件工程（cs.SE） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.02155 [cs.CL] |
| （或 arXiv:2611.02155v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02155 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：James Beno [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 19:40:30 UTC（56 KB）
来源：arXiv cs.CL · arxiv.org