arXiv cs.CL· Arnon Mazza, Elad Levi·· 12 小时前AI 评分38
SCOPE:将自然语言策略编译为神经符号谓词程序
SCOPE: Compiling Natural-Language Policies into Neurosymbolic Predicate Programs
AI 导读
SCOPE 将自然语言策略编译为可执行程序,由小型模型、确定性提取器和代码组合神经谓词输出,并用针对程序偏离策略之处的对抗性反例生成与训练数据联合优化。在真实策略任务基准上,其平均准确率高于提示优化、任务分解和工作流生成方法;用最弱执行器优化的程序可免优化迁移到其他模型,在低成本模型上达到接近前沿推理模型的准确率,且预测更稳定、每个判定可经谓词输出解释。
正文 · AI 翻译
摘要:针对 LLM 智能体的策略执行已从单轮内容审核转向在多轮对话记录和工具调用轨迹上评估的复合、应用特定策略。微调后的护栏模型效率高,但在复合策略上性能下降;而 LLM-as-a-judge 方法虽然准确率更高,却带来高昂的推理成本,且预测往往不稳定。神经符号方法提供了一种自然的替代方案,将策略分解为在显式逻辑下组合的窄神经决策。然而,现有的符号层缺乏所需的表达能力,且针对固定数据而非策略本身进行优化。为此,我们提出 SCOPE,它将策略编译为由小型模型、确定性提取器以及组合其输出的代码所执行的神经谓词可执行程序。该程序与其训练数据联合优化,采用对抗性生成反例的方式,针对程序偏离策略之处进行攻击。我们在真实世界策略任务基准上评估 SCOPE,与提示优化、任务分解和工作流生成方法对比,在各项任务和模型上取得最高平均准确率。用最弱执行器优化的程序无需进一步优化即可迁移到其他模型。这使其能够以低成本模型部署到生产环境,达到与前沿推理模型相当的准确率。与这些单体模型不同,SCOPE 产生的预测显著更稳定,且每个判定都可通过产生它的谓词输出进行解释。此外,我们通过消融研究验证了方法的关键组件。因此,SCOPE 能够在生产规模上实现可靠、可解释且高效的策略执行。
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.31062 [cs.AI] |
| (或本版本 arXiv:2610.31062v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2610.31062 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Elad Levi [查看邮箱]
[v1]
2026年10月22日 星期四 10:41:13 UTC(5,463 KB)
来源:arXiv cs.CL · arxiv.org