arXiv cs.AI· Junru Zhang, Jinyong Wen, Bin Dou, Wuliang Huang, Baokun Wang, Yu Cheng, Weiqiang Wang, Cheng Peng·· 11 小时前AI 评分22
FINDERS：用扩散语言模型的路由机制重构用户编码器
Rethinking User Encoders: Routing Diffusion States for Scenario-Adaptive User Representation
AI 导读
研究者提出 FINDERS，一个配备路由器的扩散语言模型（dLLM）框架，通过去噪、因子化、路由、压缩四步操作，将扩散状态组织为可迁移的跨模态语义与模态特定行为因子。该框架还构建了含显式行为依据的大规模语料 BehaviorQA，并由轻量路由器按场景查询动态加权相关槽位方向。在十个工业场景的离线实验与在线 A/B 测试中，FINDERS 在统一与场景自适应设置下均优于现有方法。
正文 · AI 翻译
摘要：现有基于大语言模型（LLM）的用户编码器将异构行为日志序列化，并通过自回归（AR）预测将其压缩为静态表示。然而，其单向约束限制了双向信息流，阻碍了跨模态交互与多源信号的联合保留。因此，所学习到的静态表示难以满足多样下游场景对证据的不同需求。我们通过将扩散语言模型（dLLM）的迭代去噪过程解锁为多粒度重建空间来解决这些局限。基于这一洞见，我们提出 FINDERS（FactorIzatioN of Diffusion statEs for Routing across Scenarios），一个配备路由器的 dLLM 框架，包含四项操作：去噪、因子化、路由与压缩。可学习的元槽将互补的去噪状态组织为可迁移的跨模态语义与模态特定的行为因子。为提供有依据的监督，我们构建了 BehaviorQA，一个包含显式行为依据的大规模语料库。在场景查询的引导下，轻量级路由器通过输入级残差通路动态强调相关的槽方向，随后进行跨源融合与最终压缩。在十个工业场景中开展的大量实验与在线 A/B 测试表明，FINDERS 在统一设置与场景自适应设置下均持续优于最先进的方法。这项工作有效地将 dLLM 的边界拓展至语言生成之外，展现了其作为强大用户表示学习器的巨大潜力。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22400 [cs.AI] |
| （或 arXiv:2610.22400v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22400 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junru Zhang [查看邮箱]
[v1]
2026年10月14日 星期三 11:27:34 UTC（5,011 KB）
来源：arXiv cs.AI · arxiv.org