arXiv cs.AI· Yuhao Wang, Zelin Zang·· 4 小时前AI 评分38
ABACUS:用可复用程序为冻结的判别模型构建多步推理
ABACUS: Program-Guided Multistep Reasoning over Frozen Judgment Models
AI 导读
ABACUS 框架通过离线生成程序、在线由冻结判别模型回答局部语义问题,把局部判断组合成多步推理答案。在三个 BIG-Bench Hard 任务上,经开发集参考一致性优化后的三个程序在 600 道留出题上达到 99.67% 宏平均准确率,而直接使用 Kev 为 64.00%、仅输出最终答案的 Qwen3.5-4B 为 68.80%。
正文 · AI 翻译
摘要:判断模型通过对有限候选结果打分来回答语义问题。可复用的程序能否将这些局部决策转化为强大的多步推理?我们提出 \method,一个为冻结的判断模型联合构建判断模式与组合程序的框架。生成式教师离线设计流程;判断模型在线解决局部语义问题,保存的程序将其决策组合成答案。我们研究了人类与教师之间设计工作的三种分配方式,重点关注通过共享接口进行构建。我们以 Kev 实例化该框架。在三个选定的 BIG-Bench Hard 任务上,九个独立构建的程序解决了 150 个开发输入的 450 次执行。一项单独的部署研究在开发集参考一致性精炼后冻结三个程序,并在 600 个留出问题上评估它们。这些程序达到近乎完美的 99.67\% 宏准确率,而直接 Kev 为 64.00\%,仅最终答案的 Qwen3.5-4B 为 68.80\%。它们达到与 Qwen 无限制响应策略(99.07\%)相当的观测准确率,并实现 \textbf{8.43 倍在线加速}:每题 0.255 秒对 2.150 秒。这些结果表明,可复用程序如何在保持紧凑判断模型参数不变的情况下大幅扩展其推理能力。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.25963 [cs.AI] |
| (或此版本的 arXiv:2610.25963v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2610.25963 由 DataCite 颁发 arXiv DOI |
提交历史
来自:Zelin Zang [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 07:57:48 UTC(314 KB)
[v2]
2026 年 11 月 17 日星期二 09:07:38 UTC(494 KB)
来源:arXiv cs.AI · arxiv.org