arXiv cs.AI· Jiarong Wen, Qi Tao, Kaiyu Zhang, Yun Qu, Lizhou Cai, Heming Zou, Yuhang Jiang, Qi Wang·· 3 天前AI 评分22
通过上下文建模弥合模型预测任务采样中的风险近似差距
Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling
AI 导读
研究将模型预测任务采样（MPTS）中的风险预测重构为上下文序列建模问题，以解决风险预测模型（RPM）因优化历史稀疏和风险近似滞后一步导致的两个失效模式。新方法结合一步前瞻机制与时间加权滑动窗口，无需额外 rollout 即可缓解数据非平稳与稀缺问题。在鲁棒 Meta-RL、域随机化（DR）及 LLM 提示课程 RL 后训练中，该方法给出更可靠的难度估计并取得一致的性能提升。
正文 · AI 翻译
摘要：强化学习（RL）对于自适应决策至关重要，例如鲁棒的 Meta-RL 和域随机化（DR），以及大型语言模型（LLM）的高效后训练，其中任务通常被构造为马尔可夫决策过程或提示。在所有这些设置中，一个核心瓶颈是任务选择和策略优化所需的智能体-环境交互成本。模型预测任务采样（MPTS）已成为一种有前景的方法，通过查询由在优化历史数据上训练的风险预测模型（RPM）得到的信息性任务来提高样本效率。然而，现有的 RPM 存在两种失败模式：（i）优化历史稀疏，限制了 RPM 在任务空间上的泛化能力；（ii）风险近似存在一步滞后，随着策略的演化导致难度估计有偏。这项工作形式化了这些失败模式，推导了滞后风险分解以揭示由此产生的时间偏差，并将风险预测重新表述为上下文序列建模问题。所开发的 RPM 将一步前瞻机制与时间加权滑动窗口相结合，以缓解数据的非平稳性和稀缺性，且无需额外的 rollout。在实证上，我们的方法在鲁棒 Meta-RL、DR 以及 LLM 的提示课程 RL 后训练中产生了更可靠的难度估计和一致的性能提升。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14913 [cs.AI] |
| （或 arXiv:2610.14913v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14913 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yun Qu [查看电子邮件]
[v1]
2026年10月10日星期六 13:35:02 UTC（2,129 KB）
来源：arXiv cs.AI · arxiv.org