arXiv cs.AI· Pouya Ghiasnezhad Omran, Michael Zimmermann, Duncan Cambridge, Ashmita Kapoor, Tanya Dixit·· 2 天前AI 评分40
Agent Gym：通过人在回路反馈持续评估与进化 LLM 智能体的框架
Agent Gym: A Framework for Continuous Evaluation and Evolution of LLM Agents Through Human-in-the-Loop Feedback
AI 导读
研究团队提出 Agent Gym，一个模块化、领域无关的框架，可将任意现有 LLM 智能体包裹进持续评估与进化循环，无需修改智能体源码即可在部署后修正行为。框架包含 Act、Evaluate、Investigate、Correct、Learn、Observe 六项可组合能力，核心技术为带 21 个条件算子和三级动作的确定性-LLM 混合修正引擎，以及三层调查架构。
正文 · AI 翻译
摘要：部署在生产环境中的大型语言模型（LLM）智能体面临一个根本性矛盾：智能体的行为在部署时即被冻结，而它必须处理的业务规则和边缘情况却在持续演变。现有方法解决了智能体的构建和一次性评估问题，但没有提供结构化的机制，在不修改智能体源代码的情况下进行部署后的持续行为纠正。市场上提供的大多数方法都需要大量收集日志和追踪信息，并由工程团队重新审视智能体设计，这一过程繁重、漫长，且抵消了智能体化转型的经济价值。我们提出 Agent Gym，一个模块化、领域无关的框架，将任何现有的基于 LLM 的智能体包裹在一个持续评估与演化循环中。该框架提供六种可组合能力——行动（Act）、评估（Evaluate）、调查（Investigate）、纠正（Correct）、学习（Learn）和观察（Observe）——组织在三个架构区域中：一个将领域知识编码为配置制品的宪法层，一个串联行动、调查和自适应纠正的运行时推理流水线，以及一个使领域专家能够通过自然语言交互发现并验证新纠正规则的学习循环。关键技术贡献包括：一个具有 21 个条件运算符和三级动作的混合确定性-LLM 纠正引擎，一个用于无真值合规验证的三层调查架构，以及一个在人工批准前保证规则正确性的程序化安全循环。我们进一步提出 Spec-to-Note Gap，一种受自编码器启发的智能体系统透明度视角。一个用于发票处理的开源参考实现表明，该框架完全可运行并可供采用。
| 评论： | 15 页，4 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.15591 [cs.AI] |
| （或使用 arXiv:2608.15591v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.15591 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Tanya Dixit [查看电子邮件]
[v1]
2026年8月16日星期日 07:27:26 UTC（28 KB）
[v2]
2026年10月14日星期三 23:32:49 UTC（93 KB）
来源：arXiv cs.AI · arxiv.org