arXiv cs.CY· Kamile Dementaviciute, Julija Vaitonyte, Tijl De Bie·· 10 天前AI 评分30
LLM 说服力评估为何难以一致：九种自动化方法在同一批模型上的对比
LLM Persuasion Is in the Eye of the Evaluation
AI 导读
研究将九种已发表的 LLM 说服力自动化评估方法适配到统一设置，并在同样的十五个 LLM 上运行，发现各方法排名仅弱相关（平均 Spearman ρ = 0.25）。部分任务上拒答的模型会令一致性降低约四分之一，且拒答多集中在操纵类任务；多数理性说服方法跟随模型通用能力，操纵类方法则不然。结果表明说服力得分混合了模型"能否说服"与"是否愿意说服"，单一分数只在其自身设定下有参考意义。
正文 · AI 翻译
摘要：大型语言模型（LLM）已被证明在说服力方面达到或超过人类专家。虽然其说服能力有望用于教育和健康传播等有益用途，但也可能被用于操纵和误导，因此对其评估日益成为开发者和监管者的优先事项。然而，这种评估仍然零散：不同研究对何为说服的界定不一，而宽泛的结论往往建立在狭窄、特定情境的评估之上。自动化方法通常以人类研究为模型，提供了一种直接比较此类评估的方式，因为它们可以在相同模型上大规模运行，并能涵盖难以或不宜在人类身上测试的高风险说服形式。在本研究中，我们将九种已发表的自动化方法适配到统一设置中，在相同的十五个 LLM 上运行，并探究它们的排名是否一致以及原因。我们发现这些方法仅弱一致（平均 Spearman $\rho = 0.25$）。我们的分析指出两个促成因素。对某些任务拒绝而对其他任务不拒绝的模型，无论直接还是间接，都会使一致性降低约四分之一，而这些拒绝大多出现在操纵任务上。通用能力也起作用：大多数理性说服（非操纵性）方法与通用能力相关，而大多数操纵方法则不然。综合来看，这些发现表明一致性更多取决于方法设定的任务，而非其如何对说服进行评分，不过鉴于可用于分析的方法只有八种，这一模式仅具指示性。更广泛地说，我们的结果表明，说服分数结合了模型的说服能力与其说服意愿。因此，单一分数对其自身设定具有信息量，但对模型跨任务的说服力说明甚少。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.10232 [cs.CL] |
| （或 arXiv:2610.10232v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10232 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Kamile Dementaviciute [查看电子邮件]
[v1]
2026年10月7日星期三 15:19:54 UTC（87 KB）
来源：arXiv cs.CY · arxiv.org