跳到正文
arXiv cs.CL· Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Han Li, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin·· 12 小时前AI 评分38

OmniBehavior:基于真实数据的长程跨场景异构行为轨迹 LLM 用户模拟基准

Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

AI 导读

研究者提出 OmniBehavior,首个完全基于真实世界数据构建的预测式用户模拟基准,将长程、跨场景、异构行为模式整合进统一框架。对 SOTA LLM 的评测显示,模型难以准确预测这类复杂行为,即使扩大上下文窗口性能也趋于停滞。模拟与真实行为对比还揭示结构性偏差:LLM 倾向收敛为“积极平均人”,表现出超活跃、人格同质化和乌托邦偏差,导致个体差异与长尾行为丢失。

正文 · AI 翻译

作者:Jiawei Chen、Ruoxi Xu、Boxi Cao、Ruotong Pan、Yunfei Zhang、Yifei Hu、Yong Du、Tingting Gao、Han Li、Yaojie Lu、Yingfei Sun、Xianpei Han、Le Sun、Xiangyu Wu、Hongyu Lin

查看 PDF HTML(实验性)

摘要:大语言模型(LLMs)的出现揭示了通用用户模拟器的潜力。然而,现有基准仍局限于孤立场景、狭窄的动作空间或合成数据,无法捕捉真实人类行为的整体性。为弥合这一差距,我们推出 OmniBehavior,这是首个完全基于真实世界数据构建的预测性用户模拟基准,将长时程、跨场景和异构行为模式整合到统一框架中。基于该基准,我们首先提供实证证据,表明以往具有孤立场景的数据集存在视野狭窄的问题,而真实世界的决策依赖于长期的、跨场景的因果链。对最先进 LLMs 的广泛评估表明,当前模型难以准确预测这些复杂行为,即使上下文窗口扩大,性能也趋于停滞。至关重要的是,对模拟行为与真实行为的系统比较揭示了一种根本性的结构偏差:LLMs 倾向于收敛于一个积极的“平均人”,表现出过度活跃、人格同质化和乌托邦式偏差。这导致个体差异和长尾行为的丧失,凸显了未来高保真模拟研究的关键方向。
评论: 已被 NeurIPS 2026 接收
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用格式: arXiv:2604.08362 [cs.CL]
  (或 arXiv:2604.08362v3 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2604.08362

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jiawei Chen [查看电子邮件]
[v1] 2026年4月9日星期四 15:26:21 UTC(3,581 KB)
[v2] 2026年5月21日星期四 16:20:11 UTC(3,540 KB)
[v3] 2026年10月24日星期六 10:11:59 UTC(3,540 KB)

来源:arXiv cs.CL · arxiv.org