arXiv cs.AI· Oktie Hassanzadeh, Dharmashankar Subramanian·· 6 天前AI 评分37
同一查询，不同答案：语义查询处理中的运行间方差
Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing
AI 导读
研究重新执行 SemBench、LRO-Bench 和 UDA-Bench 的文本与表格工作负载并记录 120 万次模型调用，发现在 temperature 0 下，五次执行间有 0.07% 至 10.2% 的行改变算子输出，单个任务最高达 24.0%。
正文 · AI 翻译
摘要：语义查询引擎让大语言模型（LLM）判断单个行，而基准测试在温度 0 下通过少数几次执行的质量来比较这些引擎。我们测量了另一次执行会带来多大变化。我们通过各自的测试框架重新执行 SemBench、LRO-Bench 和 UDA-Bench 的文本与表格工作负载，记录全部 120 万次模型调用，并重新分析 SemBench 已发布的执行结果。在温度 0 下，经过五次执行，有 0.07% 到 10.2% 的行会改变其算子输出（取决于模型），在某一任务上最高达 24.0%。如可能世界模型所预测，计划会随答案暴露的行数呈指数级放大这些变化：在 UDA-Bench 上，只有几个百分点的提取值发生变化，但约三分之二的答案发生了变化。在 SemBench 已发布的结果中，21% 的文本结果在多次执行之间质量发生变化，包括那些计划为确定性的引擎。若干逐查询的系统比较，以及 LRO-Bench 实现建议的 28 项测试中的 16 项，都无法由基准测试所运行的执行结果来定论。发生变化的行正是模型之间彼此不一致的行；同一次执行内的相同请求与跨执行之间的不一致频率相当；而一次执行的决策裕度或推理长度可以预测哪些行会发生变化。投票能降低方差但无法消除它，而经过校准的级联在保持其保证的同时，其返回的行仍会变化。我们由此推导出基准测试的报告规则和引擎的设计规则。
| 评论： | 代码和数据：此 https URL |
| 主题： | 数据库（cs.DB）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13823 [cs.DB] |
| （或 arXiv:2610.13823v1 [cs.DB] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13823 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Oktie Hassanzadeh [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 16:34:13 UTC（131 KB）
来源：arXiv cs.AI · arxiv.org