arXiv cs.CL· Mohammad Siavashi, Pascal Schwinte, Ali Banaei, Gerald Q. Maguire Jr., Marco Chiesa, Dejan Kosti\'c·· 6 天前AI 评分29
GraphTok：为智能体 LLM 服务把 Tokenization 移出主机 CPU
Taking Tokenization off the Host for Agentic LLM Serving
AI 导读
GraphTok 是一个 GPU tokenizer，将预分词、BPE 合并到 token-ID 组装整条编码流水线做成可重放的 CUDA graph，在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 上逐 bit 复现参考 token ID，并可接入未修改的 vLLM 和 NVIDIA Dynamo。
正文 · AI 翻译
摘要：智能体工作负载会重复发送在多次调用之间几乎不变的长上下文。前缀缓存如今已能跳过其中大部分预填充，但每个请求在查询缓存之前仍必须完整地进行分词。分词这一长期被视为可忽略的 CPU 阶段，如今成为首 token 时间（TTFT）中占比最大的部分，而一个为整个 GPU 集群进行分词的前端会限制其所能供给的 GPU 数量。我们提出 GraphTok，一种 GPU 分词器，将整个编码流水线——从预分词、字节对编码（BPE）合并到 token-ID 组装——作为一个可重放的 CUDA 图来运行。GraphTok 在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 上逐位复现参考 token ID，将短输入交给 GPU 无法胜出的 CPU 引擎处理，并可接入未经修改的 vLLM 和 NVIDIA Dynamo。GraphTok 在 1.7-3.2 ms 内编码一百万个 GPT-2 token（含数据传输），在 Llama 3 上比最强的 CPU 分词器 gigatoken 快 4.7-6.0 倍。在 TokTier 自己的单请求基准测试中，它比 gigatoken 快 2.6-3.9 倍，比 TokTier 快达 18.1 倍。在带缓存前缀的 vLLM 中，它将平均 TTFT 降低 2.1-2.4 倍。最大的收益在于容量。在 2 s P99 目标内，一个搭载 GraphTok 的 Dynamo 前端可维持 518 请求/秒的 121k token 流量，即 56 块 GPU 的最忙时段负载，而 gigatoken 为 296，默认分词器为 18.5。在 121k 到一百万 token 范围内，这是 gigatoken 所维持负载的 1.75-2.5 倍，且在 gigatoken 尾部崩溃之处，P99 最多低 64 倍。
| 学科： | 分布式、并行与集群计算（cs.DC）；计算与语言（cs.CL）；机器学习（cs.LG）；性能（cs.PF） |
| 引用为： | arXiv:2610.13325 [cs.DC] |
| （或本版本 arXiv:2610.13325v1 [cs.DC]） | |
| https://doi.org/10.48550/arXiv.2610.13325 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mohammad Siavashi [查看邮箱]
[v1]
2026 年 10 月 9 日星期五 10:05:09 UTC（386 KB）
来源：arXiv cs.CL · arxiv.org