MoE路由实现免训练推理行为控制
热点事件持续更新
MoE路由实现免训练推理行为控制
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Shengjie Wang等作者提出，MoE路由器可作为无需训练的推理行为控制接口：在router logits上训练线性探针预测六类推理行为标签，效果接近残差流探针，特征量约减半。 推理时选择性编辑专家路由分数后，四个模型、四个基准上生成token数中位减少30.4%（最高63.3%），准确率下降不超过0.5个百分点且常有所提升。作者称该信号在覆盖数学、代码、科学、知识、常识五个领域的六个数据集上可泛化。
AI 根据报道生成 · 55 分钟前更新
最新进展11月5日 13:00
MoE 模型推理路径研究：读取并重塑测试时计算报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AIMoE 模型推理路径研究：读取并重塑测试时计算
研究者发现 MoE 路由器可作为无需训练的推理行为控制接口，通过线性探针在 router logits 上预测六类推理行为标签，效果接近残差流探针且特征量约减半。在推理时选择性编辑专家路由分数，四个模型、四个基准上生成 token 数中位减少 30.4%（最高 63.3%），准确率下降不超过 0.5 个百分点且常有所提升。该信号在覆盖数学、代码、科学、知识、常识五个领域的六个数据集上可泛化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。