arXiv cs.CL· Yisong Miao, Jian Zhu, Vered Shwartz·· 2 天前AI 评分31
LLM 能推断文化背景却难以据此调整回答:CAPRI 数据集揭示文化适应鸿沟
LLMs Infer Cultural Context but Fail to Apply It When Responding
AI 导读
研究者提出 CAPRI 数据集,用不同文化线索强度的对话测试 LLM 能否按用户文化背景使用当地计量单位。实验显示,SOTA 模型能推断文化背景并回忆相关惯例,却往往不据此调整回答,除非被明确要求按顺序执行任务。模型对时间和数量表达的适应随文化线索累积而增强,但其先验并非文化中立,有时与模型来源国一致。
正文 · AI 翻译
摘要:近期研究表明,LLM 过度代表主流文化,尤其是西方文化,而边缘化其他文化。我们通过评估模型基于用户所感知的文化背景对本地计量单位的使用,来探究这是否会影响模型生成文化适配响应的能力。我们引入了文化与语用响应推断(CAPRI),这是一个包含不同文化线索水平的对话数据集。对最先进 LLM 的实验表明,模型能够推断文化背景并回忆相关惯例,但往往无法利用这些信息使其回答适配相关文化惯例,除非被明确提示按顺序执行任务。我们进一步评估了对时间和数量表达解读的适配,这是两个受文化影响的主观语言接地维度。我们发现,随着文化线索的积累,模型会越来越多地调整其回答,但它们的先验并非文化中立,有时会与模型的原产国一致。总体而言,CAPRI 为未来旨在缩小文化知识与文化适配语言生成之间差距的研究提供了资源。
| 评论: | 已被 EMNLP 2026(主会议)接收;10 页,7 幅图,2 张表(含参考文献和附录共 26 页,13 幅图,8 张表) |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2606.17688 [cs.CL] |
| (或 arXiv:2606.17688v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2606.17688 arXiv 颁发的 DOI,通过 DataCite |
提交历史
来自:Yisong Miao [查看电子邮件]
[v1]
2026 年 6 月 16 日星期二 08:53:24 UTC(2,892 KB)
[v2]
2026 年 10 月 15 日星期四 07:25:42 UTC(2,919 KB)
来源:arXiv cs.CL · arxiv.org