arXiv cs.CL· Ilia Karpov, Maksim Grigorenko, Vadim Ayuyev·· 10 小时前AI 评分34
MafiaScope：用社交推理游戏 Mafia 测量多智能体推理能力
MafiaScope: Inspecting Multi-Agent Reasoning in Social Deduction Games
AI 导读
MafiaScope 是一个开源测试平台，将社交推理游戏 Mafia 转化为多智能体推理的测量工具，可在每次公开发言后让存活智能体私下回答结构化问题，且问答不进入游戏历史、不干扰后续对局。角色判断按引擎已知角色计分，二阶预测与其他智能体的报告比对，可视化器支持冒充模式、时间线准确率与校准面板及反事实回放。实验覆盖多个模型、语言和探测配置，演示包含校准、探测可重复性与替换发言回放等检查。
正文 · AI 翻译
摘要：LLM 智能体的公开行为几乎无法揭示其社会推理：一个投票正确的智能体可能只是在猜测，而其公开声明可能与私下引出的评估不一致。我们提出 MafiaScope，一个开放测试平台，将社交推理游戏 Mafia 转变为多智能体推理的测量工具。在每次公开发言后，存活的智能体在其可用对话的副本上私下回答可配置的结构化问题。探测对行动上下文是非侵入式的：问题和答案都不会进入用于继续游戏的历史记录。角色评估会与引擎已知的角色进行评分；二阶预测会与其他智能体的报告进行比较。交互式可视化器渲染评估轨迹：扮演模式聚焦于单个智能体的信息和报告，面板绘制与时间线对齐的准确率和校准，反事实回放从保存的状态分支。一种离线启发式方法将集体怀疑的变化与可供检查的片段关联起来。实验涵盖多个模型、语言和探测配置；演示展示了片段检查、校准、探测可重复性和探测/无探测检查，以及发言替换回放。代码：此 https URL 演示：此 https URL 视频：此 https URL
| 主题： | 计算与语言（cs.CL）；多智能体系统（cs.MA）；社会与信息网络（cs.SI） |
| 引用为： | arXiv:2607.10645 [cs.CL] |
| （或 arXiv:2607.10645v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.10645 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ilia Karpov [查看电子邮件]
[v1]
2026年7月12日周日 08:20:52 UTC（1,372 KB）
[v2]
2026年7月18日周六 17:54:54 UTC（1,131 KB）
[v3]
2026年10月30日周五 20:23:31 UTC（750 KB）
来源：arXiv cs.CL · arxiv.org