arXiv cs.AI· Yuhe Hu·· 10 天前AI 评分25
量化对工具故障恢复的影响因提示词与评测设计而异：Llama-3.1-8B 与 Qwen2.5-7B 的 8-bit/4-bit 对比研究
Quantization Effects on Tool-Failure Recovery Vary Across Prompts and Evaluation Designs
AI 导读
研究对比 Llama-3.1-8B-Instruct 与 Qwen2.5-7B-Instruct 的 8-bit 和 4-bit 量化版本在 20 个确定性工具使用任务、5 种提示词下的工具故障恢复表现，发现 8-bit 与 4-bit 的恢复优劣会随提示词和评测目标反转。
正文 · AI 翻译
摘要：训练后量化降低了部署语言模型智能体的成本，但其对从临时工具故障中恢复的影响可能取决于恢复的评估方式。我们在二十个确定性工具使用任务和五个提示上，比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8 位与 4 位变体。8 位与 4 位的恢复比较在不同提示和评估目标下方向会发生变化。在相同提示下两个变体均无故障完成的任务上，Llama 的差异范围为 0 到 +20.2 个百分点，Qwen 为 -50.0 到 +35.0 个百分点。全流程点估计在全部五个提示下都偏向 8 位 Llama，而 Qwen 的比较在不同提示下方向会发生变化。评估目标也可能使结果反转。对于 Llama 在某个提示下，仅在各变体自身干净通过的任务上评分，4 位领先 17.5 个百分点；对两个变体在相同任务上评分则没有差异，而对全流程评分则 8 位领先 28.3 个百分点。执行器宽容度是第三个此类选择。用严格输出解析对相同日志重新评分——在该提示下 8 位 Llama 违反严格解析的次数远多于 4 位 Llama——会将 +28.3 变为 -15.0，而 Qwen 基本不变。这些发现表明，单一提示、单一筛选任务集和单一评分策略无法就量化智能体的鲁棒性得出稳定结论。评估应在匹配任务上比较变体，为部署决策报告全流程成功率，说明评分策略，并量化跨任务而非注入故障点的不确定性。
| 评论： | 被 NeurIPS 2026 智能体系统小语言模型研讨会（SLM-Agents）接收。7 页，2 图，2 表，另附附录 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.07781 [cs.AI] |
| （或此版本的 arXiv:2610.07781v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.07781 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Yuhe Hu [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 05:17:10 UTC（97 KB）
来源：arXiv cs.AI · arxiv.org