SpecSearch:硬件感知的投机解码搜索
热点事件持续更新
SpecSearch:硬件感知的投机解码搜索
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Selin Yildirim、Ali Zeyrek 和 Deming Chen 提交论文,提出 SpecSearch:一种硬件感知的搜索方法,针对不同的工作负载与 GPU 组合,联合优化解码策略、草稿长度和精度。作者称,在 RTX 5090、H100、L40 和 AMD MI300X 上配合 vLLM 使用时,其吞吐量平均达到自回归解码的 2.01 倍、投机解码的 1.36 倍。上述倍数来自论文作者的测试结果,尚待独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 13:00
SpecSearch:面向硬件感知的高效投机解码报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AISpecSearch:面向硬件感知的高效投机解码
SpecSearch 是一个硬件感知搜索引警,联合优化解码策略、草稿长度与精度,在 RTX 5090、H100、L40 和 AMD MI300X 上配合 vLLM 实现平均 2.01 倍于自回归解码、1.36 倍于投机解码的吞吐量。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。