arXiv cs.CL· Areej Mehboob, Muhammad Ali Shafique, Muhammad Usman Qadeer, Hamza Farooq·· 10 小时前AI 评分32
量化如何影响编码智能体：不止于准确率
Beyond Accuracy: How Quantization Affects Coding Agents
AI 导读
研究对比 BF16 与 4-bit AWQ、GPTQ 量化后的 Qwen2.5-Coder-Instruct（7B、14B、32B）和 Devstral-Small-2507（24B）在 OJBench 编码任务上的表现，未发现统计显著的准确率损失。
正文 · AI 翻译
摘要：智能体越来越多地被用于编程任务，但大语言模型（LLM）的推理成本限制了其可运行的范围。量化可以减小模型规模，但其对执行并修改程序的编程智能体的影响仍缺乏充分研究。我们在 OJBench 编程问题上，跨三个随机种子，比较了 BF16 与 4 位 AWQ 和 GPTQ 在 Qwen2.5-Coder-Instruct（7B、14B 和 32B）以及 Devstral-Small-2507（24B）上的表现。我们未发现任何编程智能体出现统计显著的准确率损失。然而，最终准确率可能掩盖显著的行为变化：AWQ 使 Qwen-7B 的一次性求解数从 17 降至 0，同时使基于循环的求解数从 10 增至 25。所有 Qwen-32B 的成功案例都涉及工具使用，而 Devstral 很少能做出有效的执行器调用。失败模式也有所不同：Qwen-32B 产生的编译错误远多于较小的 Qwen 模型，且在量化下略有上升，而 Devstral 的失败则显著从运行时错误转向错误答案和超时。这些发现表明，编程智能体的量化鲁棒性除最终准确率外，还应通过求解轨迹、工具使用和失败模式来评估。
| 评论： | 已被 NeurIPS 2026 智能体系统小语言模型研讨会（SLM-Agents）接收，法国巴黎 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.02368 [cs.CL] |
| （或 arXiv:2611.02368v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02368 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Muhammad Ali Shafique [查看邮箱]
[v1]
2026年11月2日星期一 01:30:27 UTC（26 KB）
来源：arXiv cs.CL · arxiv.org