arXiv cs.AI· Shiguang Wu, Yaqing Wang, Quanming Yao·· 11 小时前AI 评分31
Agentic ICL 研究：Transformer 在闭环交互中能学会哪些算法？
Agentic In-Context Learning: What Algorithms Can Transformers Learn in Closed-Loop Interaction?
AI 导读
研究者提出 Agentic In-Context Learning（Agentic ICL）框架，用状态、更新与决策规则刻画交互式学习器，覆盖主动学习、bandits 与在线 RL。
正文 · AI 翻译
摘要：上下文学习（ICL）的学习算法视角研究固定参数 Transformer 如何从提供的示例中学习。语言模型智能体通过交互扩展了这一设定：其动作决定了接下来哪些证据进入上下文。我们将这一范式称为智能体上下文学习（Agentic ICL）。现有研究在很大程度上依赖外部提供的上下文或带有奖励的交互历史，而关于通用工具使用智能体的工作则缺乏学习算法视角。我们用状态、更新和决策规则来表示交互式学习器，涵盖主动学习、多臂老虎机和在线强化学习（RL）。在表达能力方面，我们构造了因果 Transformer，使其在有限时间范围内近似这些算法，并对由此产生的回报损失给出界。在训练方面，我们刻画了优化过程奖励何时能保持使最终结果最大化的行为。蒸馏实验表明，Transformer 可以学会执行三种代表性的递归。随后，我们像 RL 后训练那样，在没有 oracle 动作或状态目标的情况下，从结果奖励或过程奖励中训练模型。不同的奖励会产生不同的决策策略。改善过程监督与结果最优动作偏好之间的一致性，会使学到的决策相应发生偏移。这种行为差异在预训练语言模型中跨文本改写依然存在。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23051 [cs.AI] |
| （或 arXiv:2610.23051v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23051 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Quanming Yao [查看邮箱]
[v1]
2026年10月16日星期五 07:28:42 UTC（321 KB）
来源：arXiv cs.AI · arxiv.org