跳到正文
arXiv cs.AI· Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg·· 10 小时前AI 评分18

CoCo:用贡献对比实现 MoE 奖励模型的响应级忠实解释

Beyond Routing Weights: Faithful Response-Level Interpretation of Mixture-of-Experts Reward Models via Contribution Contrast

AI 导读

针对稀疏 MoE 奖励模型仅靠路由权重只能说明专家"接收哪些提示词"、无法反映其"如何评判响应"的问题,研究者提出 Contribution-Contrast(CoCo)响应级解释方法,用贡献对比最大的 chosen-rejected 响应对刻画专家角色。在自动与人工评估中,CoCo 的解释比基于路由器、基于分数和基于稀疏自编码器的方案更连贯、忠实且更具专精性,同时保持有竞争力的奖励建模准确率。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:奖励模型是从人类偏好中学习的核心,然而识别是什么驱动了它们的预测仍然具有挑战性。近期稀疏混合专家(MoE)奖励模型试图通过将提示路由到专门的专家,并通过具有高路由权重的示例来刻画专家,从而提高可解释性。然而,路由权重只揭示了专家$\textit{接收}$哪些提示,而没有揭示它如何$\textit{评判}$响应,仅提供了对专家行为的部分描述。因此,我们提出了$\textbf{Co}$ntribution-$\textbf{Co}$ntrast($\textbf{CoCo}$)响应级解释,它使用具有最大贡献对比的选中-拒绝响应对来忠实刻画专家的角色,同时捕捉路由和偏好行为。在自动和人工评估中,与基于路由器、基于分数和基于稀疏自编码器的替代方案相比,CoCo 产生了更连贯、忠实和专门的解释,同时保持了有竞争力的奖励建模准确性。总体而言,我们提供了一项受控研究,探讨不同的示例选择信号如何影响 MoE 奖励模型的可解释性。
评论: EACL 2027(Findings)
主题: 人工智能(cs.AI)
引用为: arXiv:2608.06400 [cs.AI]
  (或此版本的 arXiv:2608.06400v2 [cs.AI])
  https://doi.org/10.48550/arXiv.2608.06400

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Yifan Wang [查看电子邮件]
[v1] 2026年7月31日星期五 17:43:30 UTC(66 KB)
[v2] 2026年11月17日星期二 23:12:42 UTC(72 KB)

来源:arXiv cs.AI · arxiv.org