跳到正文
arXiv cs.AI· Haocheng Lu, Haoxuan Cheng, Mingyang Chen, Minjun Zhu·· 12 小时前AI 评分31

CrashGym:衡量实验对 LLM 智能体在反事实市场崩盘中决策价值的基准

CrashGym: Measuring the Decision Value of Experimentation for LLM Agents in Counterfactual Market Crashes

AI 导读

CrashGym 是一个确定性、可重放的限价订单簿模拟器,用于衡量 LLM 智能体在冲击触发的市场崩盘前,通过实验室实验能否改善去杠杆与流动性兜底之间的决策。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型智能体越来越多地被要求运行实验,但基准测试很少衡量这些实验是否改善了它们本应支持的决策。我们推出 CrashGym,这是一个确定性、可重放的限价订单簿模拟器,智能体必须在一个即将遭受冲击触发崩盘的市场中,在去杠杆干预和流动性后备支持之间做出选择。在做出承诺之前,智能体可以在市场的实验室实现中查询干预实验。随后,其选择会在一个独立播种的目标实现上评分,模拟器在该实现中执行所有可行的干预,因此相对于最佳干预的遗憾值是通过在同一目标重复上直接模拟每个替代方案来计算的,无需人工或基于模型的评判。该模拟器将每个放大渠道——持续价格影响、流动性撤出、保证金驱动的清算以及不断演变的策略组合——实现为可分期开启的显式机制。在一项针对 24 个新采样世界的前瞻性指定研究中,实验室访问将唯一具有完整记录的部署(Luna)的平均遗憾值从 8.878 降至 3.785,配对减少 5.092 个效用单位(名义 95% 世界自助法区间:1.028--9.507),即 OBSERVE-ONLY 均值的 57.4%。另外两个部署的前瞻性比较尚不完整;在一项单独的探索性研究中,所评估的全部四个部署在具备实验室访问时平均遗憾值都更低。策略组合内生演化的实验室相较于固定组合的实验室并未确立优势。因此,CrashGym 将实验的价值衡量为所避免的决策损失,并让模拟器细节由其支持的决策来评判。
评论: 14 页
主题: 人工智能(cs.AI)
引用为: arXiv:2610.29245 [cs.AI]
  (或 arXiv:2610.29245v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.29245

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Chen Mingyang [查看电子邮件]
[v1] 2026 年 10 月 21 日星期三 05:51:02 UTC(27 KB)

来源:arXiv cs.AI · arxiv.org