arXiv cs.AI· Tianyu Huai, Jie Zhou, Bo Mao, Qin Chen, Liang He, Xipeng Qiu·· 3 天前AI 评分41
TextualRL：面向上下文管理的文本强化学习框架
TextualRL: Textual Reinforcement Learning for Context Management
AI 导读
TextualRL 是一个无梯度的强化学习框架，以同一任务同一上下文下的一组 rollout 而非单条轨迹作为策略评判单元，通过 Groupwise Policy Critique 与 Cross-Group Policy Update 生成有界文本补丁，并由留出验证奖励决定是否采纳。
正文 · AI 翻译
摘要：LLM 智能体可以通过修改引导其行为的文本上下文来适应任务反馈，而无需更改其模型参数。然而，将执行奖励转化为可复用的上下文更新颇具挑战：单条轨迹提供的关于应更改内容的对比证据有限，而针对特定任务的修复在纳入共享上下文时可能过度泛化。我们提出 TextualRL，一种无梯度的强化学习框架，它将同一任务在同一上下文下的一组 rollout（而非孤立的轨迹）视为策略评判的单元。组内策略评判（Groupwise Policy Critique）在同一任务内对比成功与失败的 rollout；当结果一致时，它借助跨任务证据来识别值得保留的行为或提出修复假设。跨组策略更新（Cross-Group Policy Update）依据跨组汇总的证据（包括未产生任何拟议编辑的观察结果）来审查由此产生的提案，以完善其内容与适用性。经审查的提案形成有界的文本补丁，候选上下文的采纳由留出验证奖励决定。这些组件共同建立了一个奖励驱动的策略优化循环，其中多次尝试共同为可复用的上下文更新提供信息。我们在六个基准上使用五个目标智能体评估 TextualRL。在六个基准上平均而言，TextualRL 相比基础模型将测试准确率分别提升了 24.4 和 15.3 个百分点（GPT-5.5 和 Qwen3.8-27B）。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18216 [cs.CL] |
| （或 arXiv:2610.18216v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18216 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianyu Huai [查看电子邮件]
[v1]
2026年10月13日星期二 11:47:32 UTC（1,744 KB）
来源：arXiv cs.AI · arxiv.org