arXiv cs.AI· Karthik Iyer·· 4 小时前AI 评分39
如何测试世界模型对未见动作的预测:零售定价场景下的留出计划、预测准确度与价格规则
Testing World Models on Actions They Have Never Seen: Held-Out Plans, Forecast Accuracy and Price Rules in Retail
AI 导读
研究提出一套针对动作条件世界模型的测试方法:将动作按设计留出训练集并用已知答案评分,在零售定价场景中对 2,853 个拟合模型验证。结果显示预测准确度可区分模型类型(与新计划误差的秩相关 0.32 至 0.66),但在同一世界模型的不同版本间失效,高需求周规划时相关性反转为 -0.69。
正文 · AI 翻译
摘要:世界模型被信任来回答“如果……会怎样”:它的世界如何回应一个它从未见过的动作。我们为任何以动作为条件的世界模型给出对这种信任的检验:按设计留出训练之外的动作,并对照已知答案评分;预测准确率是否能预示在这些动作上的准确率;以及将同样的结构赋予更简单的模型。我们在零售场景中运行该检验,其中动作是价格与促销计划,覆盖 2,853 个拟合模型。第一,预测准确率在模型种类之间是合理的指引(与新计划上误差的秩相关为 0.32 至 0.66),但在同一世界模型的不同版本之间则是糟糕的指引:在商家规划进入高需求周的地方,这种关联发生反转,低至 -0.69。第二,训练世界模型学习动作的效果(JEPA 预训练、潜在一致性检查、在计划日期进行适配)并未改变其在新计划上的误差。第三,在生成的世界中,记录的原价和三条价格规则改善了它。给定相同的规则,当对数线性模型的曲线能与真实情况匹配时,它表现最佳;在曲线落在规则之外的世界中,带规则的世界模型在 40 个世界中的 36 个里领先于带规则的对数线性模型,并且在没有其循环单元时表现同样好。在真实数据(Breakfast at the Frat、The Complete Journey 和 M5)上,这些规则将世界模型在比它所见过的任何降价都更深的纯降价上的误差降低(Frat 上从 0.63 降至 0.56;The Complete Journey 上从 0.45 降至 0.44,处于随机水平之内),但在持久的价格变动上则不然。第四,一小部分随机测试计划对每个模型都略有帮助。在一个生成的给药世界(第二领域的压力测试)中,第一个发现重复出现,且累积的药物水平降低了世界模型的误差(从 2.86 降至 1.91),尽管它仍只预测出真实增益的 0.12 至 0.32。该检验可推广到任何要求世界模型处理其历史之外动作的领域。
| 评论: | 12 页,3 幅图,5 张表。与 arXiv:2611.20811 配套 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22537 [cs.LG] |
| (或 arXiv:2611.22537v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22537 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Karthik Iyer [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 10:29:02 UTC(86 KB)
来源:arXiv cs.AI · arxiv.org