arXiv cs.CL· Shangrui Nie, Florian Mai, David Kacz\'er, Charles Welch, Zhixue Zhao, Lucie Flek·· 12 小时前AI 评分31
从价值条件化到行为转变：LLM 的轻量级价值对齐
From Value Conditioning to Behavioral Shift: Lightweight Value Alignment of LLMs
AI 导读
研究提出用价值问卷式监督对开源 LLM 做轻量微调，无需大规模数据集或成对偏好标注即可改变模型的价值条件化输出。实验显示该方法能改变留出问卷问题的回答，并在 Reddit AITA 道德判断基准和文本交互决策基准等域外行为代理上产生响应分布变化，但迁移效果强烈依赖模型与具体价值，并受监督数据中价值描述框架方式影响。
正文 · AI 翻译
摘要：大型语言模型在其输出中表现出与价值相关的偏好，然而引导此类行为通常需要大型训练数据集或成对的偏好标注。在本工作中，我们研究一种轻量级替代方案：对价值调查问卷回答进行微调，能否在价值条件化的模型输出和下游行为中引发可测量的变化？我们首先通过让若干开源 LLM 对围绕十种 Schwartz 价值组织的价值相关描述进行评分，来估计它们的基线价值画像。然后，我们在调查式监督上对模型进行微调，该监督选择性地改变目标价值评分，同时使非目标价值保持接近其基线回答。我们在两种设置下评估由此产生的变化。第一，我们测量干预是否改变了模型在留出调查问题上的回答。第二，我们测试这些由调查引发的变化是否能迁移到域外行为代理指标，包括一个由 Reddit AITA 帖子构建的上下文道德判断基准，以及一个基于文本的交互式决策基准。我们的结果表明，基于调查的监督可以改变留出调查回答，并在代理行为评估中产生模型回答分布的下游变化。然而，这种迁移强烈依赖于模型和价值，并受到监督数据中价值描述表述方式的影响。这些发现表明，价值调查不仅可以作为诊断工具，还可以作为研究 LLM 中行为价值条件化的轻量级监督。
| 评论： | 10 页 2 图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2508.11414 [cs.CL] |
| （或此版本的 arXiv:2508.11414v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2508.11414 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shangrui Nie [查看电子邮件]
[v1]
2025 年 8 月 15 日星期五 11:36:17 UTC（926 KB）
[v2]
2026 年 10 月 21 日星期三 09:33:12 UTC（192 KB）
来源：arXiv cs.CL · arxiv.org