arXiv cs.CY· Tom Sheffer, Alon Miron, Asael Sklar, Yaniv Dover, Ariel Goldstein·· 12 小时前AI 评分44
知识-确定性多样性可预测人-人与人类-AI开放式讨论协同效应，并揭示纯AI讨论的不足
Knowledge-Certainty Diversity Predicts Human-Human and Human-AI Open-Ended Discussion Synergy and Reveals Pure-AI Discussion Shortfalls
AI 导读
研究对比LLM-LLM、LLM三人组、人类三人组与人-LLM配对四种设置发现，含人类的交互均产生协同效应，纯LLM组表现不升反降。团队提出知识-确定性框架，用准确率与置信度刻画参与者，量化“一方不确定时另一方倾向正确”的程度，并给出基于置信度选择答案的收益上界Potential Conversation Synergy。
正文 · AI 翻译
摘要：对话将个体知识转化为集体洞见，使协作者能够比独自一人时更准确地解决问题。大型语言模型（LLM）之间的对话能否复现人类讨论中所观察到的协同增益，目前仍不清楚。我们使用经过验证的医学多项选择题，系统地比较了四种交互设置：LLM-LLM 配对、LLM 三人组、人类三人组以及人类-LLM 配对。各智能体先单独作答，再进行开放式讨论，然后重新作答，从而让我们能够量化对话带来的增益。包含人类的交互始终产生协同效应（讨论后，较强和较弱参与者的准确率均有所提高），而纯 LLM 组则没有提升，且往往出现下降。为了解释并预测开放式对话在何时有帮助，我们引入了一个与智能体无关的知识-确定性框架，该框架以表现（准确率）和置信度来对每位参与者建模。该框架量化了知识-确定性多样性，即当一个智能体不确定时另一个智能体倾向于正确的程度，并给出了基于置信度在智能体答案之间进行选择所能获得增益的上界，我们将其称为潜在对话协同。该指标在任何讨论之前计算，在讨论无帮助的两种设置中均较低，而在讨论有帮助的两种设置中均较高：当知识-确定性多样性较低时（如纯 LLM 组），讨论不会提升表现；当存在这种多样性时（如人类组或人类-LLM 组），开放式对话能可靠地提升准确率。这些发现为 AI 协作提供了一种诊断方法：知识-确定性多样性可以从讨论前的回答中测量，并在所研究的各设置中提供对话增益的配置层面指标。
| 主题： | 人机交互（cs.HC）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2507.22889 [cs.HC] |
| （或本版本的 arXiv:2507.22889v3 [cs.HC]） | |
| https://doi.org/10.48550/arXiv.2507.22889 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tom Sheffer [查看邮箱]
[v1]
2025年6月15日周日 05:09:20 UTC（2,148 KB）
[v2]
2025年10月9日周四 16:45:21 UTC（3,248 KB）
[v3]
2026年10月21日周三 02:09:41 UTC（6,954 KB）
来源：arXiv cs.CY · arxiv.org