arXiv cs.AI· Haowen Shi, Xuzhe Yan, Fahao Chen, Peng Li·· 13 小时前AI 评分31
基于预填充的解码长度预测存在根本性极限：LLM 推理调度预测器受自回归随机性约束
On the Fundamental Limits of Prefill-Based Decoding Length Prediction
AI 导读
研究揭示当前 LLM 解码长度预测基准将预测器质量与任务难度混为一谈，模型、数据集或采样配置一变，准确率即崩塌。作者将解码视为停止随机过程，推导出每个预填充侧方法都必须遵守的误差界，并给出方差仿射定律 σ=αμ+b。实验显示 MLP、EGTP、FiLM、soft-label 与 MoE 等预测器在固定条件下性能趋同并逼近该界，证明系统误差主导模型误差。
正文 · AI 翻译
摘要：仅利用预填充阶段的隐藏状态来预测大型语言模型（LLM）将解码多少个 token，是推理调度的关键基础能力。我们表明，当前的基准测试将预测器质量与任务难度混为一谈：当目标模型、数据集或采样配置发生变化时，即使预测器本身未变，所报告的准确率也会大幅下降。我们将这种不稳定性追溯到一个被忽视的误差来源——自回归解码固有的随机性——并推导出每个预填充侧方法都必须遵守的界限。我们的分析将解码视为一个停止的随机过程。一个响应的每步停止概率并非恒定，而是在数百步内逐步上升，因此解码长度继承了由决定响应结束位置的众多局部决策所产生的中心极限定理；这产生了具有显式误差项的逐提示正态性，以及仿射方差定律 $\sigma=\alpha\mu+b$，其斜率是响应段数的变异系数。在实证上，正态定律将逐提示 MAE 和解码长度分布的中心质量再现至几个百分点的误差内，而偏离正态性的残差（轻微右偏、略微超额峰度）正是采样噪声校正所预测的。在固定模型、数据和采样条件下，广泛的设计空间中的预测器（MLP、EGTP、FiLM、软标签和混合专家变体）收敛到接近该界限的相似性能，证实了 \emph{系统误差主导模型误差}。我们主张一种基准测试协议，该协议固定模型、数据和采样参数，并在报告绝对指标的同时报告相对误差指标。代码和分析工具可在 此 https URL 获取。
| 评论： | 26 页，4 张图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；信息论（cs.IT） |
| 引用为： | arXiv:2610.40541 [cs.AI] |
| （或 arXiv:2610.40541v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40541 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haowen Shi [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 17:36:01 UTC（542 KB）
来源：arXiv cs.AI · arxiv.org