arXiv cs.AI· Jonas Schweisthal, Dennis Frauen, Stefan Feuerriegel, Emma Brunskill·· 11 小时前AI 评分31
PolicyLift：从观测数据中实现生成式策略改进
Generative Policy Improvement from Observational Data
AI 导读
PolicyLift 是一个三阶段框架，可从观测数据中改进结构化动作（如文本、图像）的决策策略。它先学习少量离散动作码捕捉高层策略，再学习依赖上下文的码级策略，部署时通过历史行为系统将码级策略“提升”回原始动作空间。理论证明码级策略改进可保证原动作空间策略改进，在合成与真实文本生成任务上均优于行为策略。
正文 · AI 翻译
摘要：我们研究如何从观测数据中改进决策策略，以便在动作是复杂、结构化对象（例如文本消息或图像）时生成更好的动作。这项任务面临两大挑战：(i) 动作层面的重叠往往太弱，无法进行可靠的离策略评估与改进；(ii) 生成新的结构化动作通常需要昂贵的训练或微调（例如对 LLM 进行微调），并且由于动作表示中的信息损失，可能难以良好定义。为解决这两个问题，我们提出 PolicyLift，一个从观测数据中利用结构化动作进行生成式策略改进的三阶段框架。在第一阶段，PolicyLift 学习一小组离散动作代码，这些代码捕捉观测动作空间中的高层策略，并专门设计为在有限重叠下支持策略改进。在第二阶段，它学习一个依赖于上下文的策略，作用于这些动作代码之上。在部署时，第三阶段通过以代码为条件从历史行为系统生成动作，将学习到的代码级策略“提升”回原始动作空间。我们从理论上证明，改进动作代码上的策略可以保证原始动作空间中诱导策略的改进。我们在合成和真实世界的文本生成任务中通过实验展示了 PolicyLift，其策略相对于行为策略取得了一致的改进。
| 评论： | 预印本 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.23436 [cs.AI] |
| （或使用 arXiv:2610.23436v1 [cs.AI] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.23436 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jonas Schweisthal [查看电子邮件]
[v1]
2026年10月16日星期五 13:20:43 UTC（1,063 KB）
来源：arXiv cs.AI · arxiv.org