arXiv cs.AI· Yaoning Yu, Ye Yu, John Sciarappo, Haojing Luo, Kai-min Chang, Yi-Chia Wang, Haohan Wang·· 3 天前AI 评分31
ThreadBench：如何评测 LLM 智能体模拟真实讨论的逼真度
ThreadBench: Benchmarking Realism in Agentic Simulation of Real-world Discussions
AI 导读
研究者提出 ThreadBench，一个基于 9,817 条真实 Reddit 讨论帖、覆盖 8 个领域和 116 个子版块的基准，用均匀性、表达、语气、互动 4 类共 12 项指标对比生成讨论与真实讨论。
正文 · AI 翻译
摘要：LLM 智能体越来越多地被用于模拟真实世界交互，但模拟行为是否保留了真实人类行为的内容模式和交互动态仍不清楚。现有评估往往关注单条评论或任务表现，而非模拟行为在帖子层面是否与人类行为一致。本文以 Reddit 讨论作为真实世界社会模拟的具体测试平台。Reddit 提供公开、有主题依据、多方参与且包含多样观点、经验和交互模式的互动，使其成为评估 LLM 智能体能否复现真实在线讨论的分布与结构特性的有用场景。我们提出 ThreadBench，一个基于 9,817 个真实 Reddit 帖子、涵盖 8 个不同领域和 116 个子领域的 Reddit 讨论模拟基准。ThreadBench 使用统计分析，在 4 大类共 12 项指标上比较生成讨论与真实讨论：均匀性、表达、语气和交互。我们进一步开发了基于 Thread-Prompt 的讨论生成（ThreadPDG），一个学习真实讨论如何生长的 Planner-Writer 框架。Planner 从真实种子讨论生成帖子级和评论级计划，Writer 根据这些计划生成评论。对于每个种子，我们生成多个候选帖子，并使用帖子级统计量组合其最佳分支。在所有领域和多个 LLM 上，ThreadPDG 的 ThreadBench 通过率为 58-100%，而基线为 0-17%。由 436 名标注者进行的人工评估进一步表明，在 78.7% 的配对中 ThreadPDG 与真实讨论无法区分，优于现有模拟方法。
| 主题： | 多智能体系统（cs.MA）；人工智能（cs.AI）；社会与信息网络（cs.SI） |
| 引用为： | arXiv:2606.14715 [cs.MA] |
| （或此版本的 arXiv:2606.14715v2 [cs.MA]） | |
| https://doi.org/10.48550/arXiv.2606.14715 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Yaoning Yu [查看邮箱]
[v1]
2026年5月10日星期日 04:03:47 UTC（1,321 KB）
[v2]
2026年10月10日星期六 05:43:43 UTC（16,014 KB）
来源：arXiv cs.AI · arxiv.org