arXiv cs.AI· Yunqin Zhu, Yao Xie·· 13 小时前AI 评分22
Merge and Branch：面向推荐的高效树结构 LLM 监督微调方法
Merge and Branch: Efficient Tree-Structured Supervised Fine-Tuning of LLMs for Recommendation
AI 导读
Merge and Branch（M&B）通过将每条历史物品的 SID 与文本压缩为少量学习 token，并用压缩后的历史同时预测多个目标 SID，把每个样本组织成浅而宽的树结构，从而降低 LLM 推荐微调的输入成本。
正文 · AI 翻译
摘要：基于 LLM 的生成式推荐读取冗长、富含文本的交互历史，却只生成简短的语义标识符（SID）。这种不对称使监督微调效率低下：编码历史代价高昂，而每条历史通常只为一个目标提供监督。我们提出 Merge and Branch（M&B），以降低输入成本，并从每条已编码历史中学到更多。Merge 将每个历史条目的 SID 和文本压缩为少量可学习 token。Branch 利用压缩后的历史预测多个目标 SID。为了在共享历史计算的同时保持这些目标相互独立，M&B 将每个样本组织为一棵浅而宽的树。我们开发了 tree FlashAttention 来高效执行这种布局，只处理一次共享历史，并传播来自每个分支的梯度以进行端到端训练。树结构的键/值缓存将历史共享扩展到受限解码。在公开基准上的实验表明，M&B 优于强推荐基线，同时大幅提升训练和解码效率。
| 评论： | 12 页，8 幅图 |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37973 [cs.IR] |
| （或 arXiv:2610.37973v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37973 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yunqin Zhu [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 21:10:11 UTC（741 KB）
来源：arXiv cs.AI · arxiv.org