arXiv cs.AI· Wenjie Huang, Jun Zhang, Hongyaoxing Gu, Haoyang Huang, Tianqi Xu, Xinyue Hao, Xinyi Hu, Xinle Du, Jun Dai, Shuang Ge, Chen Lei, Yue Li, Mingcheng Wan·· 13 小时前AI 评分31
Raincheck：面向多轮 MLLM 推理的延迟多模态 Prefill 框架
Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference
AI 导读
Raincheck 提出一种延迟多模态 prefill 框架，将初始 token 选择与后续信息可用性解耦：先用现有剪枝方法选出初始 prefill token，再利用 decode 阶段的闲置算力按源顺序逐步 prefill 未选中的 token。
正文 · AI 翻译
作者：Wenjie Huang、Jun Zhang、Hongyaoxing Gu、Haoyang Huang、Tianqi Xu、Xinyue Hao、Xinyi Hu、Xinle Du、Jun Dai、Shuang Ge、Chen Lei、Yue Li、Mingcheng Wan
摘要：与多模态大语言模型（MLLM）进行多轮对话会复用输入上下文，但长多模态输入会增加首 token 时间（TTFT）。查询感知的硬剪枝可减少预填充 token，但会永久排除后续问题可能需要的信息。我们提出 Raincheck，一个用于延迟多模态预填充的框架，将初始 token 选择与后续信息可用性解耦。现有剪枝方法为初始预填充选择 token；Raincheck 保留未选中的 token，并在解码期间利用未使用的计算容量，按源顺序逐步预填充这些 token。未完成的预填充会在答案返回后、在可用的调度间隙中继续进行。注意力可见性控制和仿射状态映射使生成开始后能够在全注意力和混合循环模型中进行上下文更新。预填充-解码融合减少了重复的权重读取。我们在初始多模态 token 保留率为 30% 的条件下评估了 Qwen3-VL-8B 和 Qwen3.5-9B。在两个模型和四种剪枝方法上，Raincheck 在 MultiVerse 和 ConvBench 上分别平均恢复了匹配硬剪枝所损失质量的 77.7% 和 60.4%。在 MultiVerse 上，SGLang 实现将平均首轮 TTFT 相对完整预填充最多降低 24.1%，而平均每输出 token 时间（TPOT）增加不到 0.5%。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39562 [cs.CL] |
| （或 arXiv:2610.39562v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39562 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wenjie Huang [查看电子邮件]
[v1]
2026年10月29日星期四 08:01:02 UTC（2,973 KB）
来源：arXiv cs.AI · arxiv.org