arXiv cs.AI· Tomer Galanti, Josh Susskind, Eran Malach·· 3 天前AI 评分41
少比特多尝试：内存受限下如何恢复模型能力
Fewer Bits, More Tries: Recovering Capability Under Memory Constraints
AI 导读
在内存受限的本地部署场景下，用较小或压缩后的模型并行生成多个候选答案、再借助公开或模型自生成的测试筛选，可恢复因模型规模或压缩损失的大部分准确率。7B Qwen 模型八次并行尝试在 MBPP+ 上基本追平 32B 模型，在另外三个代码生成基准上超过它，同时模型内存占用约少 4 倍、速度最高快 6 倍、能耗更低（基于 Nvidia GPU 实测）。
正文 · AI 翻译
摘要：大型语言模型通常比小型模型能力更强，但其内存需求可能使本地部署变得困难。我们探讨能否通过多次运行一个更小或更压缩的模型，并利用公开或模型生成的测试在其输出中进行选择，来弥补部分能力差距。单用户本地推理可能使硬件未被充分利用，从而允许并行候选生成以适度的延迟代价，用额外的测试时计算换取准确率。在四个代码生成基准上，验证式重试恢复了因模型规模或压缩而损失的大量准确率。一个 7B 的 Qwen 模型在八次并行尝试下，在 MBPP+ 上基本与 32B 模型持平，并在其他三个基准上超过它，同时使用的模型内存约少 $4\times$，运行速度最高快 $6\times$，且在 Nvidia GPU 上测得能耗更低。我们在不同模型规模、压缩级别和硬件选择中观察到类似的权衡，尽管具体收益取决于硬件配置和问题设置。这些结果表明，当正确解在适度的重试预算内仍然可达时，模型容量可以换取经过验证的测试时计算。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15372 [cs.AI] |
| （或 arXiv:2610.15372v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15372 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tomer Galanti [查看电子邮件]
[v1]
2026年10月11日星期日 05:52:48 UTC（292 KB）
来源：arXiv cs.AI · arxiv.org