arXiv cs.CL· Adi Simhi, Yaniv Nikankin, Jonathan Herzig, Idan Szpektor, Yonatan Belinkov, Shay B. Cohen·· 12 小时前AI 评分29
研究揭示:LLM 多轮对话中的个体分歧如何汇聚成集体共识
Seeing the Forest for the Trees: Emergent Agreement from Individual Conversations
AI 导读
研究用线性分类器在单个对话激活中识别出"同意"的内部表征,发现该表征随轮次和对话大幅波动,在单对话层面无法可靠对应外部同意。将同意表征跨对话聚合后,外部同意可用马尔可夫过程良好预测,内部聚合同意则通过幂律映射与之耦合。模型改变立场后,外部先表达同意,内部表征随后才反映这一转变。
正文 · AI 翻译
摘要:随着 LLM 智能体在真实环境中交互并相互影响彼此的决策,理解它们如何趋于一致变得十分重要。我们在多轮对话中研究这一问题:两个 LLM 讨论主观话题,可以表示同意或不同意,并可能改变立场。通过对单次对话激活值使用线性分类器,我们识别出了一种内部的一致性表征。我们发现,该表征在不同轮次和不同对话之间差异显著,并且在单次对话层面无法可靠地反映外部一致性。因此,我们不再局限于单次对话中的一致性表征,而是跨对话聚合一致性表征。从外部看,这种聚合视角揭示了一个简单的结构:当跨对话汇总时,一致性可以用马尔可夫过程很好地预测,每一轮的一致性都是上一轮一致性的直接函数。类似地,当内部一致性被聚合时,它通过幂律映射与外部马尔可夫一致性耦合,从而揭示出内部表征中的马尔可夫动力学。此外,我们发现,在立场改变之后,模型会先在外部表达出一致性,之后其内部表征才反映出同样的转变。这些结果揭示了内部一致性与外部一致性之间的联合结构,而这种结构只有在跨对话聚合内部特征时才会显现。代码见 this https URL。
| 主题: | 计算与语言(cs.CL) |
| ACM 分类: | I.2.7 |
| 引用为: | arXiv:2610.29328 [cs.CL] |
| (或 arXiv:2610.29328v1 [cs.CL] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2610.29328 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Adi Simhi [查看邮箱]
[v1]
2026年10月21日星期三 07:27:08 UTC(513 KB)
来源:arXiv cs.CL · arxiv.org