arXiv cs.CY· Rusali Saha, Nitya Khurana, Ruihong Huang, Kuan-Hao Huang·· 3 天前AI 评分31
ChronoCulture：评估大语言模型跨时间文化意识的新基准
ChronoCulture: Evaluating Cultural Awareness Across Time in Large Language Models
AI 导读
研究者推出 ChronoCulture 基准，包含覆盖 72 个国家、基于纵向调查数据构建的 10,360 个时间配对，每个配对含同一国家同一调查问题在新旧两个年份的完整人口回答分布。在六个 LLM 上测试发现，模型常能预测某国某一时点的态度，却无法可靠捕捉态度随时间的变化，其不同年份预测往往彼此接近；在提示词中指定目标年份也几乎不能提升与调查回答的对齐度。
正文 · AI 翻译
摘要：文化态度和社会规范随时间演变，然而大多数面向大型语言模型（LLM）的文化基准都将文化视为一个国家或地区的静态属性。我们提出了 ChronoCulture，这是一个包含 10,360 个时间对的基准，基于 72 个国家的纵向调查数据构建。每个时间对包含同一国家在较早年份和较晚年份提出的同一调查问题，并以完整的人口响应分布作为真实标签。在六个 LLM 上，我们发现模型通常能够预测一个国家在某一时间点的态度，但无法可靠地捕捉这些态度如何变化。它们对不同年份的预测往往彼此接近，未能捕捉到大部分观察到的变化。在提示中指定目标年份对与调查响应的一致性总体上也没有带来多少改善。这些发现表明，模型往往呈现出一种基本静态的文化态度图景，凸显了跨时间评估文化意识的必要性。
| 评论： | 28 页（正文 8 页）。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.20472 [cs.CL] |
| （或 arXiv:2610.20472v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20472 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Rusali Saha [查看电子邮件]
[v1]
2026年10月14日星期三 16:50:35 UTC（8,554 KB）
来源：arXiv cs.CY · arxiv.org