模型 vs. 用户：谁的价值观说了算？多轮对话中的推理时价值对齐

Model vs. User: Whose Values Prevail? Inference-Time Value Alignment in Multi-Turn Conversations

AI 导读

研究评估了四种基于提示词和激活的引导方法在多轮对话中的价值对齐效果，用户与助手模型会朝相同或相反但同等可取的价值方向施压。通过线性探针追踪三个模型和两组价值权衡发现：当助手与用户方向相反时，与助手基线偏好一致的一方往往占上风，早期看似成功的引导效果常在数轮后消退甚至反转。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：人类价值观塑造了我们对语言模型行为方式的期望。主流对齐方法将价值观视为全局目标，而恰当的价值观取向实际上是因人而异、因情境而异的。免训练对齐可以在推理时引导模型朝向目标价值观，但目前主要在单轮设置和单一引导方向（例如朝向安全）下进行评估。我们在多轮对话中评估了四种基于提示和激活的引导方法，其中用户模型和助手模型会朝向相同或相反但同等可取的价值观推进。我们通过线性探针在三个模型和两组价值观权衡上追踪对齐情况。当助手与用户朝相反方向牵引时，与助手基线偏差相匹配的一方往往占上风，而早期看似成功的效果在几轮之后往往会减弱或反转。因此，引导应在完整对话中、并在价值观权衡的两个方向上加以评估。

主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.19817 [cs.CL]
	（或 arXiv:2610.19817v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.19817 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Enrico Liscio [查看电子邮件]
[v1] 2026年10月14日星期三 08:58:17 UTC（426 KB）

来源：arXiv cs.CL · arxiv.org