arXiv cs.CL· Siddhesh Pawar, Chen Cecilia Liu, Anna Korhonen, Isabelle Augenstein·· 12 小时前AI 评分47
研究揭示 LLM 价值微调的意外副作用：未训练价值、风险偏好与安全特质均受波及
Unintended Side Effects of Value Training in LLMs
AI 导读
研究对四个指令微调 LLM 按 Hofstede 各价值维度分别微调后发现，针对特定价值的训练会对未训练价值、风险偏好、社会认知和安全特质产生意外副作用。作者据此建议，后训练阶段的价值对齐应纳入更广泛的行为评估，并需进一步研究额外价值训练在流程中的最佳位置。
正文 · AI 翻译
摘要：随着 LLM 越来越多地部署在价值敏感场景中，使其与人类价值观对齐已成为 NLP 中的一项后训练目标，旨在灌输额外价值观并引导模型行为。然而，当前的评估仍然较为狭窄。由于价值观相互关联，目前尚不清楚针对特定价值观的微调会如何改变不相关的能力和行为。在本工作中，我们针对 Hofstede 的各个价值观维度对四个指令微调 LLM 进行调整，并在跨价值观迁移和更广泛行为上对它们进行评估。我们发现，针对特定价值观的训练会对未训练的价值观、风险偏好、社会认知和安全特征产生意外副作用。因此，我们建议后训练之后的价值观对齐应纳入更广泛的行为评估，并强调需要研究额外价值观训练最适合置于流程中的哪个位置。
| 评论： | 37 页，31 幅图，26 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| MSC 分类： | 68T50 |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.29922 [cs.CL] |
| （或 arXiv:2610.29922v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29922 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siddhesh Pawar [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 15:58:53 UTC（1,600 KB）
来源：arXiv cs.CL · arxiv.org