arXiv cs.AI· Shengjie Wang, Mohsen Fayyaz, Nanyun Peng·· 10 小时前AI 评分48
MoE 模型推理路径研究：读取并重塑测试时计算
Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models
AI 导读
研究者发现 MoE 路由器可作为无需训练的推理行为控制接口，通过线性探针在 router logits 上预测六类推理行为标签，效果接近残差流探针且特征量约减半。在推理时选择性编辑专家路由分数，四个模型、四个基准上生成 token 数中位减少 30.4%（最高 63.3%），准确率下降不超过 0.5 个百分点且常有所提升。该信号在覆盖数学、代码、科学、知识、常识五个领域的六个数据集上可泛化。
正文 · AI 翻译
摘要：推理模型会将测试时计算分配到规划、推导和验证等不同行为上。然而，模型常常“过度思考”，在找到正确答案后仍继续验证和重新推导。这浪费了昂贵的计算资源，甚至可能降低性能。现有的干预措施，如 token 预算或引导，主要调节推理时长，而非针对特定行为。在这项工作中，我们证明混合专家（MoE）路由器提供了一种自然、无需训练的行为控制接口。我们首先将推理轨迹拆分为句子级片段，并为每个片段标注六种推理行为之一（规划、执行、重述、事实、反思和结论），从而使每个 token 都携带其所属片段的行为标签。对路由器 logits 的线性探针预测该标签的效果几乎与对残差流（模型完整的隐藏状态，也是探针的标准目标）的探针一样好，而使用的特征数量约为后者的一半。这些信号具有泛化性：在某个数据集上与某种推理行为相关的专家，在其他数据集上也能预测相同的行为，这覆盖了跨越五个领域（数学、代码、科学、知识和常识）的六个数据集。在此基础上，我们在推理过程中选择性地编辑专家路由器分数以抑制过度思考。在四个模型和四个基准上，该干预措施将生成的 token 数量中位数减少 30.4%（最高达 63.3%）。关键在于，它鼓励模型在问题解决后立即停止，而不是跳过必要的推理步骤。准确率下降从未超过 0.5 个百分点，并且经常有所提升。最终，MoE 路由既提供了洞察推理状态的可解释视角，也提供了一种优化测试时计算的轻量级机制。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.05919 [cs.AI] |
| （或 arXiv:2611.05919v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.05919 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shengjie Wang [查看邮箱]
[v1]
2026年11月4日星期三 04:13:02 UTC（317 KB）
来源：arXiv cs.AI · arxiv.org