arXiv cs.AI· Arman Behnam, Sunglyoung Kim, Jiayi Yu, Eric Huang, Liangwei Yang·· 9 天前AI 评分32
RealCompanion：基于长期真实对话推理的人类理解基准
RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations
AI 导读
研究者发布 RealCompanion 基准，包含 10 段真实人际关系、27,218 条消息、最长 120 天的完整对话记录，以及人物画像、persona、聊天与问答测试项，每个标签均指向支撑消息。
正文 · AI 翻译
摘要：一个与某人交谈数月的 AI 伴侣应当逐渐了解对方。它应当知道对方是谁，记住对方说过的话，并识别出过去的某些事在当下仍然重要。测试这一点需要真实的对话，但真实对话是私密的，因此现有的基准测试使用虚构的人物和虚构的问题。我们发布了 RealCompanion，包含十段人与 AI 伴侣之间的真实关系，在长达 120 天的时间里共有 27,218 条消息。对于每个人，我们发布完整对话、一份个人资料、一个人设、聊天测试项和问题测试项。每个标签都指向支持它的消息，每个聊天标签都附带产生它的推理过程。真实数据揭示了三点。第一，人们很少回溯引用。他们只有 3.4% 的消息依赖于之前说过的内容，而当出现这种情况时，之前那条消息通常相距很远（中位数为 2,157 条消息之前）。平均值掩盖了这一点。查看最近的消息在总体上能以 95.9% 的概率找到所需的那条，但当它相距很远时，这一比例仅为 2.2%。第二，AI 系统无法判断过去何时重要。我们测试的检测器在真实消息上几乎不比随机猜测好，而当同样的先前消息被标记为“记忆”而非“先前消息”时，模型提及过去的频率会高出 10 到 14 个百分点，即使并不需要任何过去的信息。第三，AI 系统从一个人身上读出的信息多于这个人所透露的。三个智能体系统对每个人设的重建效果相同（F1 0.71）。它们看到了这个人，然后想象出更多。理解一个人取决于知道其过去何时重要，以及其所分享的内容到哪里为止，而只有真实对话才能对此进行测试。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.01780 [cs.AI] |
| （或使用 arXiv:2610.01780v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.01780 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Arman Behnam [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 14:31:34 UTC（116 KB）
[v2]
2026 年 10 月 2 日星期五 20:03:13 UTC（116 KB）
[v3]
2026 年 10 月 8 日星期四 14:22:36 UTC（116 KB）
来源：arXiv cs.AI · arxiv.org