arXiv cs.AI· Eljas Linna, Hao Dong, Juho Kanniainen·· 1 天前AI 评分34
RESYNC：面向截止时间约束流式推理的残差隐状态同步
RESYNC: Residual Latent-State Synchronization for Deadline-Bound Streaming Inference
AI 导读
RESYNC 让大模型异步运行，用快速路径以新观测更新其陈旧隐状态并复用原预测头，在 12 组数据集-架构组合上均优于最佳紧凑或蒸馏模型。在 1 ms 到达的实时回放中，同步大模型无法按时输出任何预测，RESYNC 单 CPU 线程下至少 99.4% 的观测在间隔内完成，中位延迟 0.35–0.62 ms，比同步大模型推理快 7.9–17.7 倍。
正文 · AI 翻译
摘要：要在高速数据流中预测每一个观测，模型必须在下一次观测到达之前完成计算。大型模型可能提供更好的预测，但会错过这一截止时间。我们提出 RESYNC：大型模型异步运行，而一条快速路径利用自该状态计算以来接收到的观测，更新其最新精确但已过时的潜在状态，并应用其不变的预测头。更新器从冻结模型的表示中学习，无需任务标签。在一个真实数据流和两个合成数据流以及五个架构家族上，RESYNC 在全部十二个数据集—架构组合中均以配对 95% 区间高于零的优势胜过最佳的紧凑或蒸馏替代方案，并在 4–12 个观测的锚点年龄上具有显著的教师优势，在最多 32 个更年长的测试年龄上也在十一个组合中胜出。在真实数据流上，教师模型增益的保留比例保持完整，但在合成数据流上较低且通常随锚点年龄增长而下降。在 1 ms 到达的实时回放中，同步大型模型无法按时提供任何预测，而 RESYNC 在单个 CPU 线程上以 0.35–0.62 ms 的中位延迟，在时间区间内至少服务 99.4% 的到达：速度与紧凑模型大致相同或更快，并且比同步大型模型推理快 7.9–17.7$\times$。RESYNC 面向有后台计算资源可用但每个观测有严格响应截止时间的场景。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16523 [cs.LG] |
| （或 arXiv:2611.16523v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16523 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Eljas Linna [查看电子邮件]
[v1]
2026年11月12日星期四 09:19:39 UTC（431 KB）
来源：arXiv cs.AI · arxiv.org