arXiv cs.AI· John J. Vastola, Ann Huang, Satpreet H. Singh, Samuel J. Gershman, Kanaka Rajan·· 11 小时前AI 评分31
课程学习的效果取决于奖励稀疏性与竞争性最优解
Effectiveness of Curriculum Learning Depends on Reward Sparsity and Competing Optima
AI 导读
一项被 NeurIPS 2026 接收的研究构建了开环情景式目标拦截任务的最小策略学习模型，用数学与数值方法分析 REINFORCE 策略学习动态。结果显示，在密集奖励下课程学习收益有限，而在稀疏奖励下课程学习可能是学习发生的必要条件，当智能体同时追求最小化努力与最大化奖励时尤为明显。研究指出有用课程需解决两个问题：降低奖励稀疏性以加速学习，以及塑造奖励景观使智能体避开坏的局部最优。
正文 · AI 翻译
摘要：动物和人类在先在较简单版本的任务上训练时，往往能更快、更可靠地学会该任务，但课程学习在人工环境中的效果却参差不齐，并且在强化学习中似乎明显比在监督学习中更有效。在本工作中，我们构建并分析了一个策略学习的最小模型，以更好地理解其中的原因。我们考虑一个开环、分幕式的目标拦截任务，其参数——尤其是智能体必须离目标多近才能获得有信息量的奖励信号——可以被设定为让智能体要么频繁获得有信息量的奖励（“稠密”奖励），要么很少获得（“稀疏”奖励）。我们在两种情况下用数学和数值方法分析了基于 REINFORCE 的策略学习动态。在稠密奖励情况下，课程带来的收益仅为边际性的；在稀疏情况下，课程可能是学习得以发生所必需的。我们发现，当智能体具有最小化努力和积累高奖励这两个相互冲突的目标时，这一点尤其成立，因为这可能产生彼此竞争的、不同的奖励景观最优解。我们对该情境下有用课程的刻画表明，它们解决两个问题：(i) 使奖励不那么稀疏以加快学习；(ii) 塑造奖励景观，引导智能体远离糟糕的局部最优。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.31884 [cs.LG] |
| （或 arXiv:2610.31884v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31884 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ann Zixiang Huang [查看邮箱]
[v1]
2026年10月22日星期四 20:25:52 UTC（3,359 KB）
来源：arXiv cs.AI · arxiv.org