arXiv cs.CL· Jiahao Hui, Lin Zhu, Ben Tan, Yishen Hu, Jingdong Shu, Zetai Jiang, Xining Ran, Yeshou Cai, Gong Chen, Haijie Gu·· 11 小时前AI 评分40
腾讯 KuaFu：将十亿级用户长行为序列压缩为可复用表征
KuaFu: Compressing Long User Behavior into Understanding at Billion Scale
AI 导读
腾讯提出统一用户偏好建模系统 KuaFu，将每个行为条目只编码一次并在用户与下游任务间共享，避免十亿用户规模下的重复序列编码。其双轴投影器把行为序列缩短最多 15 倍、单条目从 150 KB 压到 10 KB，缓存表征降至 0.5 KB；在六个 MRQA 和五个 RecBench 基准上分别最高提升 17.7 EM 和 1.90 AUC。
正文 · AI 翻译
摘要：从长行为序列中学习用户偏好是大规模广告、推荐系统和对话式智能体的基础。在工业系统中，偏好建模通常按任务进行，不同下游任务独立处理同一用户历史，以捕捉偏好的不同方面。在十亿用户规模下，这种重复处理造成了大量冗余，尤其是当偏好不断演变、表示需要频繁更新时。我们提出 KuaFu，一个统一的用户偏好建模系统，用可复用的物品级压缩表示取代重复的用户级序列编码。每个行为物品只编码一次，并在用户和下游任务之间共享；同时，用户历史按时间顺序构建，并在新物品表示到达时进行扩展，使 KuaFu 无需重新编码整个历史即可捕捉不断演变的偏好。为降低推理和存储开销，KuaFu 引入双轴投影器：token 轴压缩将行为序列缩短最多 15 倍，并将每个物品从 150 KB 降至 10 KB；宽度轴压缩将缓存表示降至 0.5 KB。我们进一步开发了四阶段训练流程，包括重建预训练、偏好理解后训练、联合压缩-生成训练和幻觉感知强化学习，逐步提升表示保真度和下游效用。在六个 MRQA 和五个 RecBench 基准上，KuaFu 在相近压缩比下始终优于现有压缩方法，分别最高提升 17.7 EM 和 1.90 AUC 点。KuaFu 已在腾讯广告和推荐平台部署并评估十个月。在此期间，它将每 GPU 吞吐量最高提升 350%，节省 190 块 GPU，并将整体 GMV 提升 1.37%。
| 评论： | 12 页，6 幅图，3 张表 |
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.31045 [cs.IR] |
| （或 arXiv:2609.31045v2 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.31045 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lin Zhu [查看邮箱]
[v1]
2026 年 9 月 25 日星期五 09:39:39 UTC（1,236 KB）
[v2]
2026 年 10 月 20 日星期二 12:09:04 UTC（1,795 KB）
来源：arXiv cs.CL · arxiv.org