跳到正文
arXiv cs.CL· Siddhesh Pawar, Arnav Arora, Dustin Wright, Dirk Hovy, Isabelle Augenstein·· 12 小时前AI 评分29

研究 LLM 中的多元文化价值选择偏差

Investigating Multi-Cultural Value Selection Biases in LLMs

AI 导读

研究在系统提示词中设定国家角色、并在用户轮次通过国家名称(显式线索)或查询语言(隐式线索)给出第二重身份线索时 LLM 的价值选择偏差。在 World Values Survey 多项选择探测中,语言线索对答案的偏移约为显式线索的三倍,但偏移方向背离对应国家的分布,显式线索也未稳定地将答案拉向所指国家。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)服务的用户具有多层次的文化身份,然而文化评估通常将身份简化为单一标签。在本工作中,我们研究在同时存在身份线索时的 LLM,即在系统提示中设置国家角色,并在用户轮次中通过命名一个国家(显式线索)或通过查询语言(隐式线索)来提示第二重身份。我们测试了世界价值观调查(WVS)多项选择探测和开放式社会政治生成。在多项选择探测中,语言线索对答案的偏移约为显式线索的三倍,但偏移方向背离相关国家的分布,而显式线索并未一致地将答案引向所命名的国家。在 160 万条开放式回答中,命名一个国家可缩小与模型自身对该国回答之间差距的 30-44%,且显式线索产生的价值变化比语言线索更具差异性。我们的结果表明,国家线索和语言线索应作为不同的信号来评估,而非可互换的文化代理。
评论: 27 页,13 幅图,18 张表
主题: 计算与语言(cs.CL)
ACM 分类: I.2.7
引用为: arXiv:2610.31199 [cs.CL]
  (或 arXiv:2610.31199v1 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2610.31199

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Siddhesh Pawar [查看邮箱]
[v1] 2026 年 10 月 22 日星期四 12:46:22 UTC(422 KB)

来源:arXiv cs.CL · arxiv.org