arXiv cs.CL· Leikun Liang, Guoshuai Wang, Xingsheng He, Yushan Han, Yunyi Xuan, Xiaoxiao Xu, Lin Qu·· 9 天前AI 评分24
MARI:用结构化决策记忆蒸馏提升 LLM 推荐
Beyond Sequences: Distilling Structured Decision Memory for LLM Recommendation
AI 导读
针对 LLM 推荐中异构行为被压平成同质 token 序列、难以处理"困难选择"场景的问题,研究者提出 MARI(Memory-Augmented Recommendation with Interpretability)。
正文 · AI 翻译
摘要:尽管大语言模型(LLM)已被引入推荐系统,但主流方法大多对单一类型的行为(如浏览或购买)进行建模。即便融合多种行为,现有方法也将异构动作展平为同质的 token 序列,忽视了它们各自不同的决策角色。这种展平方式无法捕捉复杂决策中的语义层级与语境细微差别,例如价格与质量之间的权衡。因此,在涉及高度相似物品的关键“困难选择”场景中,性能会下降。为弥补这一差距,我们提出 MARI(Memory-Augmented Recommendation with Interpretability,可解释的记忆增强推荐),将预测建立在显式、结构化的决策证据之上。MARI 维护一个决策记忆库(DMB),将用户过去的推理依据归档为结构化决策记忆(SDM):即目标、约束与权衡的简洁记录。这些 SDM 通过事后决策蒸馏(Post-Hoc Decision Distillation)从异构行为和用户生成内容中离线生成。通过检索相关 SDM 来增强 LLM 推理,MARI 在无需处理长原始序列的高昂成本下实现了可解释性与可扩展性。大量实验表明,MARI 在标准的下一项预测以及新引入的困难选择预测任务上均显著优于最先进的基线方法,并且通过将记忆构建与在线推理解耦,仅带来较低的延迟开销。定性分析揭示了对用户决策的可操作、人类可读的洞见,标志着向推理感知推荐系统迈出了切实的一步。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.11501 [cs.CL] |
| (或 arXiv:2610.11501v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.11501 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Leikun Liang [查看邮箱]
[v1]
2026年10月8日星期四 08:40:35 UTC(748 KB)
来源:arXiv cs.CL · arxiv.org