arXiv cs.CL· Siddhesh Pawar, Arnav Arora, Dustin Wright, Dirk Hovy, Isabelle Augenstein·· 12 小时前AI 评分29
研究 LLM 中的多元文化价值选择偏差
Investigating Multi-Cultural Value Selection Biases in LLMs
AI 导读
研究在系统提示词中设定国家角色、并在用户轮次通过国家名称(显式线索)或查询语言(隐式线索)给出第二重身份线索时 LLM 的价值选择偏差。在 World Values Survey 多项选择探测中,语言线索对答案的偏移约为显式线索的三倍,但偏移方向背离对应国家的分布,显式线索也未稳定地将答案拉向所指国家。
正文 · AI 翻译
摘要:大型语言模型(LLM)服务的用户具有多层次的文化身份,然而文化评估通常将身份简化为单一标签。在本工作中,我们研究在同时存在身份线索时的 LLM,即在系统提示中设置国家角色,并在用户轮次中通过命名一个国家(显式线索)或通过查询语言(隐式线索)来提示第二重身份。我们测试了世界价值观调查(WVS)多项选择探测和开放式社会政治生成。在多项选择探测中,语言线索对答案的偏移约为显式线索的三倍,但偏移方向背离相关国家的分布,而显式线索并未一致地将答案引向所命名的国家。在 160 万条开放式回答中,命名一个国家可缩小与模型自身对该国回答之间差距的 30-44%,且显式线索产生的价值变化比语言线索更具差异性。我们的结果表明,国家线索和语言线索应作为不同的信号来评估,而非可互换的文化代理。
| 评论: | 27 页,13 幅图,18 张表 |
| 主题: | 计算与语言(cs.CL) |
| ACM 分类: | I.2.7 |
| 引用为: | arXiv:2610.31199 [cs.CL] |
| (或 arXiv:2610.31199v1 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.31199 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Siddhesh Pawar [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 12:46:22 UTC(422 KB)
来源:arXiv cs.CL · arxiv.org