OmniBehavior:基于真实数据的长程跨场景异构行为轨迹 LLM 用户模拟基准
Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces
研究者提出 OmniBehavior,首个完全基于真实世界数据构建的预测式用户模拟基准,将长程、跨场景、异构行为模式整合进统一框架。对 SOTA LLM 的评测显示,模型难以准确预测这类复杂行为,即使扩大上下文窗口性能也趋于停滞。模拟与真实行为对比还揭示结构性偏差:LLM 倾向收敛为“积极平均人”,表现出超活跃、人格同质化和乌托邦偏差,导致个体差异与长尾行为丢失。
作者:Jiawei Chen、Ruoxi Xu、Boxi Cao、Ruotong Pan、Yunfei Zhang、Yifei Hu、Yong Du、Tingting Gao、Han Li、Yaojie Lu、Yingfei Sun、Xianpei Han、Le Sun、Xiangyu Wu、Hongyu Lin
摘要:大语言模型(LLMs)的出现揭示了通用用户模拟器的潜力。然而,现有基准仍局限于孤立场景、狭窄的动作空间或合成数据,无法捕捉真实人类行为的整体性。为弥合这一差距,我们推出 OmniBehavior,这是首个完全基于真实世界数据构建的预测性用户模拟基准,将长时程、跨场景和异构行为模式整合到统一框架中。基于该基准,我们首先提供实证证据,表明以往具有孤立场景的数据集存在视野狭窄的问题,而真实世界的决策依赖于长期的、跨场景的因果链。对最先进 LLMs 的广泛评估表明,当前模型难以准确预测这些复杂行为,即使上下文窗口扩大,性能也趋于停滞。至关重要的是,对模拟行为与真实行为的系统比较揭示了一种根本性的结构偏差:LLMs 倾向于收敛于一个积极的“平均人”,表现出过度活跃、人格同质化和乌托邦式偏差。这导致个体差异和长尾行为的丧失,凸显了未来高保真模拟研究的关键方向。
| 评论: | 已被 NeurIPS 2026 接收 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用格式: | arXiv:2604.08362 [cs.CL] |
| (或 arXiv:2604.08362v3 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2604.08362 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jiawei Chen [查看电子邮件]
[v1]
2026年4月9日星期四 15:26:21 UTC(3,581 KB)
[v2]
2026年5月21日星期四 16:20:11 UTC(3,540 KB)
[v3]
2026年10月24日星期六 10:11:59 UTC(3,540 KB)
来源:arXiv cs.CL · arxiv.org