arXiv cs.CL· Amit Ranjan Trivedi, Sruthikesh Surineni, Kyong Ho Lee, Mohit Mittal, Steven Li, Rex Hill·· 11 小时前AI 评分31
轨迹触发的稀疏协同解码：用轨迹形状特征决定何时调用目标模型
Trajectory-Triggered Sparse Collaborative Decoding
AI 导读
研究提出轨迹触发的稀疏协同解码，用草稿模型生成大部分 token、仅在短纠正片段调用目标模型。局部不确定性特征（熵、NLL、logit margin、top-k 质量、velocity）预测失败接近随机，AUC 仅 0.50-0.53；而草稿置信度路径上的聚合轨迹形状特征配合轻量 logistic 预测器可达 AUC 0.86。
正文 · AI 翻译
摘要：诸如推测解码之类的密集辅助方法会反复用目标模型验证草稿 token，使目标计算与生成过程保持耦合。我们研究稀疏协作解码，其中草稿模型生成大部分 token，目标模型仅在简短的纠正片段中被调用。关键问题在于决定何时调用目标模型。我们表明，局部不确定性是一种较弱的触发信号：熵、负对数似然、logit 间隔、top-$k$ 质量以及速度特征给出的失败预测接近随机水平，AUC 为 0.50-0.53。相比之下，仅使用草稿正确性标签训练的轻量级逻辑回归预测器，基于草稿置信度路径的聚合轨迹形状特征可达到 AUC 0.86。这带来了触发时机的权衡：早期调用具有更大的影响力，但证据较弱；而较晚调用证据更强，但改变轨迹的能力较弱。在线使用时，学习到的稀疏协作解码在五个 GSM8K 草稿-目标模型对上，相比最佳开环调度提升了 +5.3 至 +20.0 个准确率点。在 MATH-500 上，当早期预测与目标模型能力相匹配时，它提升了 7.0-13.5 个点，但当任一条件较弱时则会下降。在 StrategyQA 上，它相比开环调度提升了 5.0-8.3 个点，表明其可迁移至算术之外的任务。
| 评论： | 17 页。已被 EMNLP 2026 不确定性研讨会接收 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.23613 [cs.CL] |
| （或 arXiv:2610.23613v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23613 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Amit Trivedi [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 15:24:05 UTC（1,949 KB）
来源：arXiv cs.CL · arxiv.org