arXiv cs.AI· Yingjun Mo, Yajie Zhao, Fang Kong·· 3 天前AI 评分20
从策略评估到离策略控制：上下文 Q-Learning 的可证明涌现
From Policy Evaluation to Off-Policy Control: Provable Emergence of In-Context Q-Learning
AI 导读
研究证明两层纯注意力 Transformer 可实现有限温度形式的 Q-learning，温度 τ>0 控制对贪婪动作选择的近似，τ→0 时退化为 window Q-learning。
正文 · AI 翻译
摘要：Transformer 能够在上下文中实现强化学习算法，但 Transformer 内部如何涌现出离策略控制仍鲜为人知。我们研究 Q-learning，这是一种基础的无模型控制算法，它将离策略自举与贪婪策略改进相结合。我们证明，一个仅含注意力的两层 Transformer 可以实现有限温度形式的 Q-learning，其中温度 $\tau>0$ 控制对贪婪动作选择的近似，当 $\tau\to0$ 时恢复为窗口 Q-learning。我们使用仅输出监督在随机生成的 MDP 任务上训练该结构化 Transformer。实验表明，理论预测的参数结构在训练过程中出现，包括内部的贪婪动作选择机制，并且训练后的 Transformer 在未见任务上达到了与 Q-learning 相当的性能。我们的理论分析进一步表明，等价实现构成一个解流形，并且在适当的任务多样性条件下，训练迭代以指数速率局部收敛到该流形。对于此处分析的随机任务模型，将到流形的距离缩小 $\epsilon$ 倍所需的局部最坏情况梯度步数为 $\Theta\left(\tau^{-5}\log(1/\varepsilon)\right)$，这量化了当学习到的更新趋近窗口 Q-learning 时不断增加的优化成本。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18057 [cs.LG] |
| （或使用 arXiv:2610.18057v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.18057 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yingjun Mo [查看邮箱]
[v1]
2026年10月13日星期二 09:44:36 UTC（823 KB）
来源：arXiv cs.AI · arxiv.org