arXiv cs.AI· Yuanzhe Li, Jianing Deng, Jingtong Hu, Tianlong Chen, Song Wang, Huanrui Yang·· 10 小时前AI 评分31
DMR：面向多步 LLM 交互的高效动态混合精度路由框架
Dynamic Mixed-Precision Routing for Efficient Multi-step LLM Interaction
AI 导读
研究者提出 Dynamic Mixed-Precision Routing（DMR），在每个决策步自适应选择同一 LLM 的高精度或低精度版本，仅用轻量路由器基于隐藏状态识别约 1% 的关键步骤。
正文 · AI 翻译
摘要：大型语言模型（LLM）通过在测试时进行多步交互与推理，在长程智能体任务中取得了强劲表现。然而，在单个回合中反复调用这些模型会带来可观的推理成本。训练后量化（PTQ）可降低这一成本，但在整个回合中始终使用固定的低精度会大幅降低任务成功率。我们观察到，不同交互步骤对量化的敏感度差异显著：在相同上下文下，以低精度解码某一步骤时，仅在约 1% 的步骤上会使成功变为失败，我们将这些步骤称为关键步骤。基于这一观察，我们提出动态混合精度路由（DMR），这是一个在每个决策步骤中自适应地在同一 LLM 的高精度版本与低精度版本之间进行选择的框架。DMR 利用全空间分解来联合预测某一步骤的偏差及其对结果的影响，仅通过在模型隐藏状态上训练一个轻量级路由器，即可学会识别这些关键步骤。通过复用共享的高精度 KV 缓存和隐藏状态，DMR 避免了冗余的上下文预填充和单独的文本编码器，使精度切换的每步开销低于 1 ms，路由带来的步骤延迟增加低于 0.11%。这种混合精度设计还支持嵌套量化，与 FP16 相比平均减少 39% 的内存占用。在采用嵌套量化的三个长程智能体基准上，DMR 在任务成功率相当的情况下，相比 FP16 平均实现 2.44 倍解码加速，且无需微调底层模型。在 ALFWorld 上使用 GPTQ 时，DMR 实现 1.71 倍解码加速，成功率为 86.9%，而 FP16 为 87.2%。
| 评论： | 17 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2602.02711 [cs.AI] |
| （或 arXiv:2602.02711v4 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2602.02711 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuanzhe Li [查看邮箱]
[v1]
2026 年 2 月 2 日星期一 19:24:04 UTC（2,550 KB）
[v2]
2026 年 5 月 14 日星期四 17:47:25 UTC（2,886 KB）
[v3]
2026 年 11 月 2 日星期一 17:42:52 UTC（364 KB）
[v4]
2026 年 11 月 10 日星期二 02:19:39 UTC（364 KB）
来源：arXiv cs.AI · arxiv.org