arXiv cs.AI· Harsh Parikh, Gabriel Levin-Konigsberg, Sohrab Andaz, Akhil Bagaria, Dominique Perrault-Joncas, Alexander Volfovsky·· 11 小时前AI 评分26
模拟器设定错误时如何收集重校准数据：探索与实验策略研究
Exploration and Experimentation with a Misspecified Simulator
AI 导读
针对校准于历史数据的模拟器在动态漂移后策略次优的问题，研究比较了四种数据收集策略：从不重校准、用 on-policy 数据被动适应、全单元持续探索，以及在预设窗口内对部分单元做随机实验。理论分析与自动售货机模拟显示，当漂移在 on-policy 数据中不可见或重校准滞后于持续漂移时，实验优于被动适应；当尝试较差动作代价高且动态可能未变时，实验优于探索。
正文 · AI 翻译
摘要：随机实验是衡量因果效应的标准方法，可指导决策，但成本高昂。基于历史数据校准的模拟器提供了一种更廉价的替代方案，但在漂移（校准后动态发生变化）的情况下，其策略可能变得次优。我们研究是否、何时以及如何收集数据以重新校准模拟器。我们考虑一个由单一操作员管理、多个单元并行运行的系统。现实世界系统是一个带有潜变量的部分观测过程，而模拟器将其建模为完全观测的马尔可夫过程，因此存在模型设定错误。两种数据收集策略利用当前策略：(i) 从不重新校准；(ii) 从同策略数据重新校准（被动适应）。另外两种策略通过尝试当前策略之外的行动来收集异策略数据：(iii) 在所有单元上进行持续探索；(iv) 在预定义窗口内对样本单元进行随机实验。我们从理论上以及在自动售货机模拟中研究了这些策略。当漂移在同策略数据中不可见，或重新校准滞后于持续漂移时，实验可以优于被动适应。当尝试更差的行动代价高昂且动态可能并未改变时，实验优于探索。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG）；方法论（stat.ME） |
| 引用为： | arXiv:2605.21458 [cs.AI] |
| （或 arXiv:2605.21458v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.21458 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Harsh Parikh [查看电子邮件]
[v1]
2026年5月20日星期三 17:48:14 UTC（734 KB）
[v2]
2026年10月16日星期五 14:56:33 UTC（265 KB）
来源：arXiv cs.AI · arxiv.org