arXiv cs.AI· Yang Xiao, Yusong Sun, Haoyi Wu, Wenyang Hui, Weiqiang Hang, Luqing Wang, Zejian Wang, Zirui Tu, Jingsheng Mao, Shaobo Hu, Yang Luo, Jiale Guo, Jin Zhang, Yudan Liu, Zhaokai Luo, Ren Huan, Yao Hu, Chengyue Jiang, Wenjie Li, Chuan Mu·· 3 天前AI 评分41
Vela：以用户行为为监督信号激发 LLM 智能
Vela: User Behavior as Supervision Sparks LLM Intelligence
AI 导读
研究团队提出 Vela 框架，将真实用户行为数据转化为可训练任务与轨迹，从 10 万名用户的匿名行为记录中生成 10 万个任务、覆盖 91 个真实任务模板，经难度过滤后保留约 7.5 万个任务。基于这些轨迹微调 Qwen3.6-35B-A3B，用户相关任务最高提升 11.5 分，通用基准平均提升 4 分；微调后再做强化学习，比从基座模型直接强化学习最高高出 7.7 分。
正文 · AI 翻译
作者：Yang Xiao、Yusong Sun、Haoyi Wu、Wenyang Hui、Weiqiang Hang、Luqing Wang、Zejian Wang、Zirui Tu、Jingsheng Mao、Shaobo Hu、Yang Luo、Jiale Guo、Jin Zhang、Yudan Liu、Zhaokai Luo、Ren Huan、Yao Hu、Chengyue Jiang、Wenjie Li、Chuan Mu
摘要：大语言模型正越来越多地部署在基于用户长期行为历史的应用中，从个人助理到推荐和广告系统。这些应用要求 LLM 智能具备用户维度：从数周到数年的行为数据中推断一个人的偏好、意图以及可能的未来行为。然而，当前模型是在静态文本或合成数据上训练的，二者都无法捕捉用户行为如何随时间演变。现实世界的行为记录已在内容平台和个人助理智能体上大规模存在，提供了天然的监督信号。我们提出以用户行为作为监督，并引入 Vela，一个将真实用户行为数据转化为可训练任务和轨迹的框架。基于 100,000 名用户的匿名行为记录，Vela 在 91 个真实世界任务模板上生成了 100,000 个任务；基于难度的过滤和轨迹接受标准保留了约 75,000 个任务及其选定的训练轨迹。在这些轨迹上微调 Qwen3.6-35B-A3B，在用户相关任务上比基础模型提升最多 11.5 分，在通用基准上平均提升 4 分。使用更多用户行为数据训练可进一步提升用户相关性能，而微调后的强化学习比从基础模型开始的强化学习最多高出 7.7 分。这些提升表明，真实世界的用户行为是一种可扩展的监督来源，既能提升以用户为中心的能力，也能提升 LLM 更广泛的智能。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14709 [cs.CL] |
| （或 arXiv:2610.14709v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14709 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yang Xiao [查看邮箱]
[v1]
2026年10月10日星期六 08:28:00 UTC（721 KB）
来源：arXiv cs.AI · arxiv.org