arXiv cs.AI· Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Ji-Ung Lee, Soyoung Oh, Isabel Valera, Vera Demberg·· 13 小时前AI 评分34
稀疏与多样性正则化让 MoE 奖励模型专家更可解释、可组合，少样本个性化提升 25.81 分
Interpretability Is Not Just a Tax: Sparsity and Diversity Yield Legible and Composable Reward Experts for Personalization
AI 导读
研究审计了 Mixture-of-Experts（MoE）奖励模型的专家结构，发现传统 MoE 学到的专家相互纠缠，问题源于训练目标而非架构本身。加入现成的稀疏与多样性正则化器后，所得稀疏 MoE 在受控设定下专家纯度达 84.8%（传统 MoE 为 60.8%），专家可组合，仅用 50 个样本做轻量 router 更新即带来 25.81 分的少样本个性化提升，约为纠缠专家的 2.7 倍。
正文 · AI 翻译
摘要：偏好建模旨在捕捉异质的人类价值观，并日益依赖学习潜在组件来表征这种变化，而无需细粒度监督。然而，这些组件实际代表什么却鲜有考察。我们在受控和真实世界环境中，沿三个层级——语义一致性、功能对应性和可组合性——审计混合专家（MoE）奖励模型，保持架构和训练数据固定，从而使差异隔离出训练目标的影响。我们的诊断是，传统 MoE 奖励模型学到的组件是纠缠的，这不仅限制了可解释性，也限制了此类模型所针对的个性化。这种纠缠并非架构固有，而是训练目标的一种属性：现成的稀疏性和多样性正则化器已能大幅减少它。由此得到的配置——我们称之为稀疏 MoE——在受控环境中无需领域监督即可恢复所有底层语义类别，专家纯度达到 84.8%，而传统 MoE 为 60.8%；在真实世界数据上，其专家呈现出与功能优势相一致、人类可解释的任务级和领域级描述。对路由权重的定向干预会产生可预测的偏好变化，表明这些解释具有行为基础，而不仅仅是描述性的。关键在于，该目标所诱导的解缠也使专家可组合：轻量级路由器更新在 50 个示例的少样本个性化上带来 25.81 个百分点的提升，约为将相同架构和适配过程应用于纠缠专家所获增益的 2.7 倍。总之，这些结果表明 MoE 奖励模型可以学习可解释的专家结构，且同一结构能大幅改善个性化。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.04284 [cs.LG] |
| （或本版本使用 arXiv:2606.04284v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2606.04284 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Yifan Wang [查看邮箱]
[v1]
2026年6月2日星期二 23:19:12 UTC（1,474 KB）
[v2]
2026年10月27日星期二 18:34:57 UTC（1,509 KB）
来源：arXiv cs.AI · arxiv.org