arXiv cs.AI· Heewon Park, Somin Im, Minhae Kwon·· 10 天前AI 评分33
SAG：面向长时程决策的成本感知 LLM 智能体选择性批评框架
Selective Critique for Cost-Aware LLM Agents in Long-Horizon Decision Making
AI 导读
研究者提出 SAG（Self-improving Agent with Gated critique），一种成本感知框架，将批评调用建模为长时程交互中的逐步决策问题，通过全局熵和局部 top-2 margin 等动作级歧义信号实现免训练门控，近似批评的信息价值（VoI）。
正文 · AI 翻译
摘要：提升大语言模型（LLM）智能体在长时程决策中的可靠性仍是一项关键挑战。当作为自主智能体部署并与复杂环境交互时，早期的错误会在轨迹中传播，导致级联失败。近期的方法通过引入外部批评或审议来提升可靠性，但在每一步都调用这些机制会大幅增加 token 消耗和延迟，限制了实际部署。我们提出 SAG（Self-improving Agent with Gated critique，带门控批评的自改进智能体），一个成本感知框架，将批评调用形式化为长时程交互中的逐步决策问题。SAG 引入一种轻量、免训练的门控机制，利用动作级歧义信号——在可行动作上计算的全局熵和局部 top-2 间隔——来估计批评的效用。从决策论视角看，该机制近似于批评的信息价值（VoI），使智能体能够仅在其预期收益足以证明成本合理时，选择性地分配昂贵的反馈。SAG 进一步结合在线自举自改进，使行动者能够内化批评者辅助的行为，并逐步减少对批评的依赖。在三个长时程交互基准和多个骨干模型上，与无批评和始终开启批评的智能体相比，SAG 大幅改善了性能-成本权衡。在 ALFWorld 上，SAG 将任务成功率从 24.6% 提升至 78.4%，同时保持与 ReAct 相当的 token 预算，使归一化 token 效率提升 $3.1\times$。此外，一个 7B 行动者搭配轻量级 3B 批评者，其性能可与无批评的 14B 行动者相媲美，表明选择性批评能够恢复审议的大部分可靠性收益，同时大幅降低推理成本。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07335 [cs.LG] |
| （或本版本的 arXiv:2610.07335v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.07335 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Heewon Park [查看邮箱]
[v1]
2026年10月5日星期一 20:09:48 UTC（3,040 KB）
来源：arXiv cs.AI · arxiv.org