arXiv cs.AI· Pankaj Chouhan, Rajarshi Das, Aditya Dubey, Manminder Tomar, Sreekar Reddy, Samta Sharma, Satyapragnya Kar, PR Panigrahi·· 2 天前AI 评分31
DCBench-440：AI 数据中心建设反事实推理基准
Watts If? A Benchmark for Counterfactual Reasoning About the AI Data Center Buildout
AI 导读
研究者提出 DCBench-440，用于测试 LLM 对 AI 数据中心建设承诺的反事实推理能力，包含 200 道基于 STRIPS 世界的生成题和 240 道基于站点记录与排放公式的选择题。开放权重模型生成题准确率 12.5-71.5%，选择题 58.3-92.5%；在列出决策节点所有可选动作时，无模型精确匹配超过 4.0%，最强模型仅列出 72-85% 会改变项目状态的动作。
正文 · AI 翻译
摘要：AI 数据中心在消耗一瓦电之前就已承诺多年：几个离散的选择（电网或现场燃气、蒸发冷却或干式冷却、在哪个县备案）就固定了其资本、耗水量和碳路径，而如今人们要求 LLM 帮助筛选这些选择，却没有任何测试来检验它们是否追踪每个承诺排除了什么。我们推出 DCBench-440，其两个部分分别报告：200 道关于五种美国交易原型的 STRIPS 世界生成式问题，配有经搜索验证的黄金答案，且在任何问题类型上都没有超过 12% 的已测试捷径；以及 240 道基于引用的场地记录、排放方程和所述场景的多项选择题。在开放权重部署中，准确率范围为 12.5-71.5%（生成式）和 58.3-92.5%（多项选择）。有一项技能在所有地方都失败：当被要求列出决策关口所有可用的行动时，没有模型超过 4.0% 的精确匹配。最强的模型列出了 72-85% 会改变项目状态的行动，但遗漏了大多数不改变任何东西的允许行动；即使将这些排除在外，最佳精确匹配仍只有 24%。代码、数据和其他材料可应要求提供。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21397 [cs.AI] |
| （或 arXiv:2610.21397v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21397 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rajarshi Das [查看电子邮件]
[v1]
2026年10月15日星期四 07:16:25 UTC（54 KB）
来源：arXiv cs.AI · arxiv.org