arXiv cs.CY· Antony Dalmiere (LAAS-TRUST), Pascal Marchand (LAAS-TRUST, INSA Toulouse), Guillaume Auriol (LAAS-TRUST, INSA Toulouse), Vincent Nicomette (LAAS-TSF, LAAS)·· 10 天前AI 评分27
连续训练阶段与大语言模型说服力：错位、监督微调与偏好优化的影响
Successive Training Stages and Large Language Model Persuasion: Effects of Misalignment, Supervised Fine-Tuning, and Preference Optimization
AI 导读
一项研究考察了三个连续训练阶段对 LLM 说服力的影响：在阴谋论数据上做 SFT 造成错位、在论证数据上追加说服性 SFT、以及 IPO 偏好优化。835 名参与者被随机分入五组，结果显示说服性 SFT 带来的态度改变大于单纯的阴谋论训练（d = 0.30），而 IPO 没有额外收益（d = 0.03），GPT-4 与中性文本无差异（d = -0.01）。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以被调优以影响人类态度，但各个连续后训练阶段各自的贡献仍不清楚。本研究考察了三个连续训练阶段如何影响 LLM 的说服力：（1）通过在阴谋论数据上进行监督微调（SFT）造成的失准，（2）在论证性数据上进行的额外说服性 SFT，以及（3）Identity Preference Optimization（IPO），一种偏好优化方法。在 Prolific 上招募的共 835 名参与者被随机分配到五种被试间条件（中性文本、阴谋论训练模型、说服训练模型、偏好优化模型和 GPT-4），并在所有模型条件下接触到基于其个人资料个性化生成的关于 10 个分裂性政治议题的文本。态度变化以暴露前和暴露后在连续 Likert 量表上的立场差异来衡量，并使用协方差分析（ANCOVA）进行分析。显著的条件 × 基线态度交互作用，F (4, 825) = 5.33，p < .001，表明训练效果取决于参与者的初始态度。说服性 SFT 比单独的阴谋论训练产生了更大的态度变化，d = 0.30，而 IPO 没有提供额外收益，d = 0.03，GPT-4 与中性文本没有差异，d = --0.01。这些结果表明，在说服性数据上进行有针对性的监督训练会提高 LLM 的说服力，而偏好优化在此之外没有产生显著增益。
| Subjects: | Artificial Intelligence (cs.AI); Computers and Society (cs.CY) |
| Cite as: | arXiv:2610.09964 [cs.AI] |
| (or arXiv:2610.09964v1 [cs.AI] for this version) | |
| https://doi.org/10.48550/arXiv.2610.09964 arXiv-issued DOI via DataCite (pending registration) |
Submission history
From: Antony DALMIERE [view email] [via CCSD proxy]
[v1]
Wed, 7 Oct 2026 12:36:18 UTC (177 KB)
来源：arXiv cs.CY · arxiv.org