arXiv cs.CY· Harsh Kumar, Karina Vold, Louis Tay, Ashton Anderson·· 11 小时前AI 评分38
诊断并修复 LLM 建议中的“人格坍缩”
Diagnosing and Repairing Persona Collapse in LLM Advice
AI 导读
研究提出 LLM 建议存在“人格坍缩”：在 1,280 个 Reddit 情境、14 类建议场景中，人类回复会系统变化，而三个前沿 LLM 默认采用同一种安慰型人格。对比 13 种训练方法后发现，结合人类示例引导的模型自写回复与质量反馈强化学习效果最佳，在 N=159 的人类研究中其预期长期帮助评分超过基线。模型能编码何时该安慰、质疑或给实用建议，但回复未能可靠体现这些区分。
正文 · AI 翻译
摘要：一位好的顾问会安慰处于危机中的人，质疑处于否认状态的人，并就后勤问题给出切实可行的指导。我们考察大型语言模型（LLM）是否会以这种方式调整其应对方式。我们根据回复的安慰或质疑程度，以及是否支持对情境的现实理解和知情决策，定义了五种顾问人格。在 14 个咨询情境下的 1,280 个 Reddit 情境中，人类回复呈现出系统性差异，而三个前沿 LLM 则默认采用一种标准的安抚型人格。我们将此称为人格坍缩。训练模型模仿人类回复会拓宽人格的使用范围，但往往将支持变成纵容，将质疑变成愤世嫉俗。在一项盲测研究（N=178）中，专家评分者在即时偏好和潜在长期帮助两方面对这些回复的评价均低于基线模型的回复。我们比较了 13 种训练方法，以探究模型如何在不牺牲建议质量的情况下学习不同的应对方式。人格契合度与建议质量的最佳组合来自在人类示例引导下学习模型撰写的回复，其次是带有质量反馈的强化学习。在第二项人类研究（N=159）中，评分者认为该模型在预期长期帮助方面优于基线。我们发现，模型编码了关于何时安慰、质疑或给出实用指导的信息，但其回复并不能可靠地反映这些区分。我们的训练缩小了这一表征-行动差距，而仅靠激活引导并不能可靠地提高建议质量。更好的 LLM 建议需要同时学习哪种人格适合某种情境，以及如何建设性地表达它。
| 评论： | 工作草稿 |
| 主题： | 计算机与社会（cs.CY） |
| 引用为： | arXiv:2607.08326 [cs.CY] |
| （或 arXiv:2607.08326v2 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.08326 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Harsh Kumar [查看电子邮件]
[v1]
2026年7月9日星期四 10:12:18 UTC（2,987 KB）
[v2]
2026年10月14日星期三 18:28:50 UTC（2,495 KB）
来源：arXiv cs.CY · arxiv.org