arXiv cs.AI· Yecheng Wu, Song Han, Han Cai·· 13 小时前AI 评分38
Lightning Weave：通过能力组合提升推理模型的准确率-效率前沿
Lightning Weave: Improving the Accuracy-Efficiency Frontier of Reasoning Models through Capability Composition
AI 导读
Lightning Weave 是一个后训练框架，通过 on-policy 蒸馏将多个独立后训练模型的能力组合进单一学生模型，并采用 Tilted-Target DOPD 将缓存信号转化为稳定学习目标。
正文 · AI 翻译
摘要：高效推理的一个核心目标是提升准确率-效率前沿。然而，同时提升推理准确率和推理效率可能颇具挑战，因为这两个目标可能偏好不同的推理行为。经过独立后训练的模型已在准确率和效率上展现出各自的优势。我们提出 Lightning Weave，这是一个后训练框架，通过同策略蒸馏将独立学到的这些能力提取并组合到单个学生模型中。每项获得的能力由后训练前模型到所得专家模型的策略偏移来表示。Lightning Weave 在共享的学生 token 状态上组合对齐的对数比偏移，并使用 Tilted-Target DOPD 将缓存的信号转换为稳定的学习目标。每个锚点对只对缓存的轨迹评分一次，从而使后续的学生训练无需同时服务多个实时锚点模型。在多种学生模型以及数学和代码基准上，Lightning Weave 相较基础学生模型有显著提升，并达到最先进的准确率-效率前沿。在 Qwen3.5-4B 上，它将 HMMT 2025 准确率从 59.2% 提升至 64.0%，同时响应 token 减少 10.7%；将 LiveCodeBench v5 准确率从 41.7% 提升至 54.2%，同时响应 token 减少 9.6%。调整锚点信号的相对强度可得到强经验性的准确率-效率帕累托前沿。这些结果确立了 Lightning Weave 作为通过能力组合实现高效推理的一条新的实用路径。代码发布于 this https URL。
| 评论： | 进行中的工作 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.14708 [cs.AI] |
| （或 arXiv:2609.14708v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.14708 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yecheng Wu [查看电子邮件]
[v1]
2026年9月13日周日 18:05:58 UTC（3,461 KB）
[v2]
2026年9月16日周三 00:23:05 UTC（3,461 KB）
[v3]
2026年10月26日周一 22:25:43 UTC（3,451 KB）
来源：arXiv cs.AI · arxiv.org