热点事件持续更新

MoE预填充减专家：短答F1损失在答案形式

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Zhiyuan Wang 等发表论文，在四种 MoE 模型家族上定位预填充阶段将路由专家减半对短答案问答 F1 的影响。研究发现，其中三个家族的 F1 损失主要体现为答案形式受损：模型仍能找到答案，但不再简短作答。Qwen3-30B-A3B 的损失集中在答案前的两个 chat-template token，DeepSeek-V2-Lite 则集中在开头 8–32 个 prompt token 的指令位置。在真实 prompt 上，约 4% 的 token 保留全专家时，把这些 token 放在任务接口处可使 F1 与未修改模型相差不到 1 分，而随机放在文档中则差约 3 分；作者称这是五项预设主要比较中的两项，其余未定或未运行。首 token 延迟在 11K token 的 prompt 上下降约 14%，在 2K token 时没有下降。

AI 根据报道生成 · 1 小时前更新

最新进展10月19日 12:00

研究揭示 MoE 模型预填充阶段减少专家对短答案 F1 的损害机制

报道时间线

沿着报道，了解事件的不同侧面。

10月19日

12:00
arXiv cs.CL
研究揭示 MoE 模型预填充阶段减少专家对短答案 F1 的损害机制
在四种 MoE 模型家族上，预填充阶段将路由专家减半导致的短答案 F1 损失主要体现为答案形式受损——模型仍能找到答案但不再简短作答。Qwen3-30B-A3B 的损失集中在答案前的两个 chat-template token，DeepSeek-V2-Lite 则集中在开头 8-32 个 prompt token 的指令位置。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。