Delta Tokenizer：面向多核 CPU 长提示词的会话增量与分段并行分词

查看 PDF HTML（实验性）

摘要：驱动 LLM 的智能体会将同一段对话反复发送给模型，而每一轮只在末尾添加少量文本。推理引擎会复用共享前缀的 KV 缓存，因此只有新增的 token 会经过模型。然而，分词并没有这样的捷径。服务引擎的 CPU 前端会从每个请求的第一个字符开始，将其重新转换为 token ID，这延长了首 token 时间（TTFT），并在每一轮都消耗 CPU。
我们提出 Delta Tokenizer，一种 CPU 分词前端，它只对同一会话中当前请求与上一个请求之间的增量进行分词。它保留先前的 token 序列，仅重新编码追加的文本以及追加可能影响其 token 的短尾部，并且只在分词器自身的切分规则无法移动的位置将两者拼接，从而保证结果精确。对于没有状态可复用的长请求，它在实际分词器已保持相邻片段独立的位置切分文本，在多个核心上同时编码这些片段，并将输出精确地拼接为参考编码。共享的 CPU 池将这些块与短增量更新一起调度，因此一次更新可以在两个块之间运行，而不必排在整个长任务之后。
相对于 Hugging Face 参考分词器，增量路径将会话轮次的分词时间缩短了约 40 倍；在 16 个核心上，块并行路径编码一个四百万字符的请求比串行编码快 8.2 倍，比 LoPT 快 1.6-2.1 倍。在 SGLang 中，Delta Tokenizer 在 100K token 时将聊天界面的中位 TTFT 降低了 59%，并在负载下将智能体会话的 P99 TTFT 降低 9.5 倍，当长请求占用前端时降低 23 倍。我们检查的每个输出都与参考一致，其中包括由其快速编码器编码的 418 亿份文档。

评论：	42 页（16 页正文、参考文献和补充材料），14 幅图，35 张表。增量分词路径和快速编码器已在 toktier 中开源，见此 https URL。块并行路径、CPU 池调度器和 SGLang 适配器将在同一仓库中发布
主题：	计算与语言（cs.CL）；分布式、并行与集群计算（cs.DC）；性能（cs.PF）
引用为：	arXiv:2610.19801 [cs.CL]
	（或 arXiv:2610.19801v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19801 arXiv 颁发的 DOI，通过 DataCite（待注册）

提交历史

来自：Zhenyu Zhang [查看电子邮件]
[v1] 2026 年 10 月 14 日星期三 08:44:46 UTC（1,811 KB）