跳到正文
arXiv cs.CL· Avni Mittal, Avinash Anand, Dikshant Kukreja, Erik Cambria, Rajiv Ratn Shah, Sandipan Dandapat·· 10 小时前AI 评分31

VIAS:面向组织多价值观对齐与合规的价值隔离激活引导

VIAS: Value-Isolating Activation Steering for Multi-Value Alignment and Compliance for Organisations

AI 导读

研究者提出价值隔离激活引导方法 VIAS,通过对比同一场景下列出全部相关价值观与省略单一目标价值观的两种提示词响应,筛出真正对应单个价值观的激活向量,减少不同价值观向量间的重叠。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:组织越来越多地部署必须遵循组织价值观的大语言模型智能体。我们检验了激活引导(在生成过程中向模型内部激活添加向量而不改变其权重)能否在仅靠提示之外进一步提升合规性。由于大多数场景同时涉及多个价值观,我们聚焦于多价值观引导。构建这些向量的一种简单方法是将遵循场景所有相关价值观的回复与违反这些价值观的回复进行对比。然而,这会为不同价值观生成几乎相同的向量:它们捕捉的是一种通用的合规信号,而非各个价值观本身,这限制了它们在组合多个价值观时的用途。我们提出价值观隔离激活引导(VIAS),它在两种提示下对比同一场景的回复,一种列出所有相关价值观,另一种省略单个目标价值观。仅当目标价值观从合规变为不合规,且两个回复在其他价值观上仍达到最低合规水平时,我们才保留该配对。我们在 PROTECT 上评估 VIAS,这是一个工作场所合规数据集,其中每个场景都标注了来自 21 项价值观分类体系的相关价值观。VIAS 减少了价值观向量之间的重叠,使其更适合多价值观引导,尽管仅凭这一点并不能实现对每个价值观的独立控制。与提示相结合,VIAS 在 Qwen2.5-7B 上对 69.6% 的场景遵循了每个标注价值观,Mistral-7B 上为 75.2%,Phi-3.5-mini 上为 72.6%,在三个模型上均优于仅使用提示。
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG);多智能体系统(cs.MA)
引用为: arXiv:2611.03518 [cs.CL]
  (或 arXiv:2611.03518v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.03518

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Avni Mittal [查看电子邮件]
[v1] 2026年11月2日星期一 17:53:26 UTC(208 KB)

来源:arXiv cs.CL · arxiv.org