Dooly：配置无关的LLM推理性能分析工具
热点事件持续更新
Dooly：配置无关的LLM推理性能分析工具
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Joon Ha Kim等作者发布论文，提出性能分析工具 Dooly：它通过一次推理遍历与污点传播标记输入维度来源，只对延迟数据库中缺失的算子做性能分析，从而实现配置无关、冗余感知的 profiling。作者称，在两种 GPU 平台、三种 attention 后端上，Dooly 的 TTFT 模拟精度在 5% MAPE 内、TPOT 在 8% 内，12 个模型的 profiling GPU 时相比现有方法减少 56.4%。 Dooly 已开源，可作为现有模拟器的即插即用后端。上述精度与耗时数据均为论文作者报告的结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
Dooly：面向 LLM 推理模拟的配置无关、冗余感知性能分析工具报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv cs.AIDooly：面向 LLM 推理模拟的配置无关、冗余感知性能分析工具
Dooly 通过一次推理遍历与污点传播标记输入维度来源，只对延迟数据库中缺失的算子做性能分析，实现配置无关、冗余感知的 profiling。在两种 GPU 平台、三种 attention 后端上，其 TTFT 模拟精度在 5% MAPE 内、TPOT 在 8% 内，12 个模型的 profiling GPU 时相比现有方法减少 56.4%。Dooly 已开源，可作为现有模拟器的即插即用后端。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。