arXiv cs.CL· Jiawei Chen, Ruoxi Xu, Boxi Cao, Zhuoqun Li, Ruotong Pan, Yunfei Zhang, Zhirui Yang, Jingyan Chen, Tingting Gao, Han Li, Yaojie Lu, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin·· 12 小时前AI 评分31
OmniSimulator：对齐小语言模型实现真实异构行为建模
OmniSimulator: Aligning Small Language Models for Authentic Heterogeneous Behavior Modeling
AI 导读
OmniSimulator 训练框架通过五维结构化 schema 组织行为导向推理，并用教师模型生成高质量推理轨迹，提升小模型在短视频平台用户模拟中的预测能力。基于 200 名真实用户三个月交互轨迹构建 9,881 条训练实例，使 Qwen3-8B 平均得分提升 34.33%，性能可与 Claude-Sonnet-4.5 竞争，并支持更小规模的自托管部署。
正文 · AI 翻译
作者：Jiawei Chen、Ruoxi Xu、Boxi Cao、Zhuoqun Li、Ruotong Pan、Yunfei Zhang、Zhirui Yang、Jingyan Chen、Tingting Gao、Han Li、Yaojie Lu、Xianpei Han、Le Sun、Xiangyu Wu、Hongyu Lin
摘要：大语言模型（LLM）作为交互系统的通用用户模拟器已展现出巨大潜力。已有研究表明，在高质量数据上训练能够显著提升模型的推理能力和下游任务表现。然而，用户模拟的上限仍受限于模型的推理范式：原生思维链往往退化为浅层模式匹配，无法充分建模真实用户决策背后的行为因素。本文提出 OmniSimulator，一种新的训练框架，旨在提升小型 LLM 在短视频平台环境中对真实用户模拟的预测能力。具体而言，OmniSimulator 通过一个包含五个维度的结构化模式来组织面向行为的推理，从真实用户行为场景中精心筛选数据，并引入教师模型在所提出的模式下生成高质量推理轨迹，帮助小模型学习与行为相关的推理模式，而非依赖表面的行为相关性。基于该流程，我们从 200 名真实用户三个月的历史交互轨迹中构建了 9,881 条高质量训练实例，平均每名用户约 50 条蒸馏样本。实验结果表明，OmniSimulator 使 Qwen3-8B 的平均得分提升 34.33%，性能可与 Claude-Sonnet-4.5 相媲美，并支持更小规模的自托管部署。这些结果表明，学习结构化的面向行为推理模式是实现可扩展、高保真 LLM 用户模拟的一条有前景的方向。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用格式： | arXiv:2610.29472 [cs.CL] |
| （或 arXiv:2610.29472v1 [cs.CL] 用于本版本） | |
| https://doi.org/10.48550/arXiv.2610.29472 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiawei Chen [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 09:30:12 UTC（548 KB）
来源：arXiv cs.CL · arxiv.org