arXiv cs.AI· Shenxi Liu, Yiwei Li, Mingyang Zhao, Yuhang Tian, Kan Li·· 10 小时前AI 评分31
BARS：未知分布下带预算感知的序列采样与拒答多数识别方法
BARS: Budget-Aware Sequential Sampling with Refusal for Majority Identification under Unknown Distributions
AI 导读
BARS 是一种面向大语言模型自洽性采样的序列规则，在未知分布、给定预算与目标错误率下认证 top-two 差距，并返回提前停止、预算内多数投票或拒答。在 GSM8K 上，实用模式比固定 8 次采样少抽 22.3% 样本（含被拒问题），代价是拒答 18.8% 的问题；在 MATH 上输出答案准确率提升至 82.5%，代价是拒答一半模型本身无法解决的难题。
正文 · AI 翻译
摘要：通过多数选择进行重复采样，是在大语言模型中强制实现自洽性的有效手段。最近还引入了一种变体，当输出分布有利时提前终止以节省成本。但它仍然无法从答案分布中得出正确的置信度估计。针对这一问题，我们将其形式化为在未知分布下、带有预算和目标错误率的多数识别问题，并提出 BARS，一种顺序规则，用于认证前两名差距并返回提前停止、预算内多数投票，或在无法建立可行性时拒绝。拒绝是对规则及其预算的陈述，而非声称问题无法回答，它告诉实践者何时应扩大预算或切换模型。认证模式对联合回答错误以及拒绝预算本可处理的实例具有经证明的界限，而我们在实验中使用的实用模式则以经验校准取而代之。在从已知分布抽取的数千个种子的合成实例上，难度驱动的行为得以重现，认证模式的代价为此 http URL；在 GSM8K 上，实用模式在同一池中比固定 8 次采样少抽取 22.3\% 的样本（包括被拒绝的问题），代价是拒绝 18.8\% 的问题。在 MATH 上，它将其输出答案的准确率大幅提升至 82.5\%，代价是如实拒绝回答模型自身无法解决的一半难题。
| 评论： | 23 页（不含附录 17 页），7 张表，8 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14171 [cs.AI] |
| （或 arXiv:2611.14171v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14171 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shenxi Liu [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 15:00:27 UTC（206 KB）
来源：arXiv cs.AI · arxiv.org