跳到正文
arXiv·· 12 天前AI 评分36

APEX:更聪明地投机解码,而非更深

APEX: Speculate smarter, not deeper

AI 导读

APEX 是一种学习型控制器,通过请求级专家选择和块级深度自适应,在投机解码中平衡解码速度与草稿 token 浪费。它用 APEX-Router 在 EAGLE-3 等方案中选择,避免固定配置在可预测性、重复和接受率变化时因加深草稿而增加无效计算。

来源:arXiv · arxiv.org