arXiv cs.CL· Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein·· 2 天前AI 评分24
解读 MoE 大语言模型中专家的个性化分工
Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization
AI 导读
研究提出对 MoE 大语言模型做个性化适配，在三个开源权重 MoE LLM 上训练 crosscoder，识别出编码不同个性化特征的专家。个性化后的 MoE 模型仅激活部分参数即可与稠密 LLM 表现相当，多义性更低，且因果干预显示这些潜在特征足以复现个性化模型行为，不同个性化特征对应不同路由路径。
正文 · AI 翻译
摘要：大型语言模型（LLM）的个性化对于以用户为中心的应用日益重要，然而此前的方法主要针对稠密 LLM 进行适配，其多义神经元（每个神经元编码多个不相关的概念）阻碍了对个性化背后组件的定位，从而难以理解和控制个性化。我们提出对混合专家（MoE）LLM 进行个性化，其将每个 token 稀疏地路由到少数专门的专家，从而减少多义性并实现这种定位。我们在一个大规模个性化数据集上适配了三个开放权重的 MoE LLM，并在个性化模型与非个性化模型的配对激活上训练 crosscoder，以学习可解释的个性化隐变量，从中我们识别出编码不同个性化特征的专家。个性化 MoE LLM 的表现与稠密 LLM 相当，但仅激活其一小部分参数，其多义性低于具有相似激活参数量的稠密 LLM，并且在同一个模型家族内，其产生的个性化隐变量与非个性化模型共享的更少。因果干预表明，这些隐变量足以恢复个性化模型的行为，并且增强其关联的专家会使非个性化模型向其靠拢，揭示了不同个性化特征具有不同的路由路径。
| 评论： | 审稿中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22127 [cs.CL] |
| （或 arXiv:2610.22127v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.22127 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sekh Mainul Islam [查看电子邮件]
[v1]
2026年10月15日星期四 16:02:46 UTC（347 KB）
来源：arXiv cs.CL · arxiv.org