arXiv cs.AI· Joon Ha Kim, Geon-Woo Kim, Anoop Rachakonda, Daehyeok Kim·· 12 小时前AI 评分31
Dooly：面向 LLM 推理模拟的配置无关、冗余感知性能分析工具
Dooly: Configuration-Agnostic, Redundancy-Aware Profiling for LLM Inference Simulation
AI 导读
Dooly 通过一次推理遍历与污点传播标记输入维度来源，只对延迟数据库中缺失的算子做性能分析，实现配置无关、冗余感知的 profiling。在两种 GPU 平台、三种 attention 后端上，其 TTFT 模拟精度在 5% MAPE 内、TPOT 在 8% 内，12 个模型的 profiling GPU 时相比现有方法减少 56.4%。Dooly 已开源，可作为现有模拟器的即插即用后端。
正文 · AI 翻译
摘要：选择最优的 LLM 推理配置需要在硬件、服务引擎、注意力后端和模型架构之间进行评估，因为没有任何单一选择能在所有工作负载下都表现最佳。基于性能分析的模拟器是标准工具，但它们将操作集硬编码为特定配置，并从头重新分析每个操作，使得探索成本高得令人望而却步。这一成本源于缺少对结构的理解：每个操作的每个输入维度要么由模型配置固定，要么由传入请求决定。许多模型配置值（例如头大小、层数）在不同模型间重复出现，因此同一操作会在多种配置下运行；对依赖请求的维度进行一次扫描即可服务所有这些配置。我们提出 Dooly，它利用这一结构实现与配置无关、感知冗余的性能分析。Dooly 执行一次推理过程，通过污点传播为每个输入维度标注其来源，并仅选择性地分析其延迟数据库中不存在的操作；注意力等有状态操作通过复用服务引擎自身的初始化代码进行隔离，从而无需手动插桩。基于该数据库，它构建延迟回归模型，作为现有模拟器的即插即用后端。在两个 GPU 平台、三种注意力后端和多种模型架构上，Dooly 对 TTFT 的模拟精度达到 5% MAPE 以内，对 TPOT 达到 8% 以内，同时与现有性能分析方法相比，将 12 个模型的性能分析 GPU 小时数减少了 56.4%。我们已在 此 https URL 开源 Dooly。
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.07985 [cs.DC] |
| （或 arXiv:2605.07985v3 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.07985 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Joon Ha Kim [查看邮箱]
[v1]
2026年5月8日星期五 16:44:47 UTC（766 KB）
[v2]
2026年5月21日星期四 13:49:15 UTC（1,185 KB）
[v3]
2026年10月20日星期二 18:41:32 UTC（774 KB）
来源：arXiv cs.AI · arxiv.org