arXiv cs.AI· Andy Liu, Mehar Bhatia, Karolina Stanczak, Mona Diab, Vered Shwartz, Daniel Fried·· 9 天前AI 评分24
用价值表征预测对齐泛化
Predicting Alignment Generalization with Value Representations
AI 导读
研究者提出"对齐泛化预测"任务，即预测将模型微调至遵循某一价值后，其在大量留出价值上的行为变化，并对现代对齐目标中的 66 种价值做了大规模分析。基于模型激活的表征显著优于基于价值文本描述的方法，最佳激活方法与该泛化矩阵的相关性达 0.45，描述基线仅 0.05。该表征还可用于衡量多价值对齐目标中各价值的相似度，其与模型鲁棒性显著相关，并初步指向一个与模型无关的共享价值空间。
正文 · AI 翻译
摘要：LLM 开发者通过后训练让模型展现出亲社会价值观和行为特征，这些特征在对齐目标中被逐一列出。然而，尽管近期的后训练进展已使模型在对齐评估中取得高分，但仅针对一组狭窄行为进行训练，仍会以意想不到的方式影响模型在未见过的情境和环境中的行为。在本文中，我们确立了“对齐泛化预测”这一任务，即预测将模型微调以遵循某一给定价值观后，其行为在广泛的一系列留出价值观上会如何变化。我们对现代对齐目标中 66 种价值观的对齐泛化效应进行了大规模分析，并在对齐泛化预测任务上对表征技术进行了基准测试。我们发现，基于在上下文中应用价值观时模型激活的表征，显著优于基于价值观文本描述的方法。具体而言，最佳的基于激活的方法与我们的泛化矩阵达到 0.45 的相关性，而基于描述的基线仅为 0.05。随后，我们展示了预测对齐泛化的表征在下游任务中的适用性：用它们来衡量多价值观对齐目标中各价值观之间的相似程度，并发现这与模型鲁棒性显著相关。最后，我们展示了关于一个共享的、与模型无关的价值观空间的初步证据，并据此开发了首个基于实证泛化动态的 LLM 价值观分类体系。我们的工作表明，研究 LLM 中的价值观泛化及其在更实证化的模型行为设计与训练中的应用具有重要意义。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12410 [cs.CL] |
| （或 arXiv:2610.12410v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12410 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andy Liu [查看邮箱]
[v1]
2026 年 10 月 8 日星期四 17:47:26 UTC（1,160 KB）
来源：arXiv cs.AI · arxiv.org