arXiv cs.AI· Darek Kleczek, Fuheng Zhao, Alexander W. Lee, Julien Tissier, Pawel Liskowski, Ugur Cetintemel, Anupam Datta·· 10 小时前AI 评分31
AvalancheBench：评估企业智能体驱动语义查询处理的潜世界恢复基准
AvalancheBench: Evaluating Enterprise Agent-Driven Semantic Query Processing Through Latent World Recovery
AI 导读
AvalancheBench 是一个多模态企业分析基准，通过从潜世界规格生成观测数据，评估数据智能体恢复该世界的能力。基准含 3 个验证任务、58 道覆盖文本图像文档的题目，以多部分分析简报形式给出并共享中间结果，暴露错误沿合法依赖传播的“雪崩效应”。
正文 · AI 翻译
摘要：随着 LLM 的进步，数据代理正成为分析的新界面，而语义查询处理引擎则利用 LLM 对结构化和非结构化数据进行操作。现有基准大多孤立地评估代理和语义查询引擎，导致尚不清楚代理能否在端到端分析中决定何时以及如何使用语义操作符。
我们推出 AvalancheBench，这是一个多模态企业分析基准，它从潜在世界规范生成观测数据，并评估数据代理恢复该世界的能力。该基准的 3 个经过验证的任务包含 58 个问题，涵盖文本、图像和文档。这些问题作为多部分分析简报一起提供，并可能共享中间结果，从而暴露出雪崩效应：错误可以通过合法依赖关系传播，而不当复用可能导致原本无关的问题失败。AvalancheBench 衡量分析保真度、货币成本和能力调整令牌成本（CATC），后者是一项新指标，按模型能力对令牌使用进行加权，以将技术效率与提供商定价区分开来。
我们使用 Snowflake Cortex AISQL 作为引擎，在 3 个代理框架上评估了 5 种模型-框架配置，最佳配置达到 0.82 的宏观分析保真度。代理主要是在构建分析时失败：未能恢复需要语义计算的事实占失分的 45.1%，而操作符输出错误仅占 2.5%，相比之下，代理误用或回避语义操作符占 36.3%。误解需求造成的损失最大，占 51.5%。错误还会在问题之间传播：29% 的失分来自复用另一个问题的结果。最后，货币成本和 CATC 产生不同的帕累托前沿，将具有经济吸引力的配置与技术资源高效的配置区分开来。
| 主题： | 数据库（cs.DB）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.24183 [cs.DB] |
| （或 arXiv:2605.24183v2 [cs.DB] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.24183 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dariusz Kleczek [查看电子邮件]
[v1]
2026 年 5 月 22 日星期五 20:16:41 UTC（110 KB）
[v2]
2026 年 11 月 4 日星期三 18:20:29 UTC（9,533 KB）
来源：arXiv cs.AI · arxiv.org