arXiv cs.CL· Yevhen Kostiuk, Kenneth Enevoldsen, Peter Bjerregaard Vahlstrup, M\'arton Kardos, Kristoffer Nielbo·· 12 小时前AI 评分20
用自然场景下的解决方案匹配衡量 LLM 社会规范对齐
Naturalistic measure of social norms alignment
AI 导读
研究者提出一套在自然、自由形式场景下通过解决方案匹配衡量社会规范对齐的框架，可测量 LLM 与人类、LLM 与 LLM、人与人之间对困境回答的一致程度。该框架引入 stated 与 explicit agreement accuracy 两项指标，并构建了含 3k 个丹麦语非平凡社会困境的数据集，每个困境的参考解决方案由三位评审给出。
正文 · AI 翻译
摘要：社会规范反映了人们对可接受行为的共同期望。衡量社会规范对齐仍具挑战性，现有方法通常依赖人工设计的封闭式评估，例如多项选择问卷或测量与预定义陈述的一致程度。在本工作的语境中，社会规范对齐指的是衡量解决方案之间就社会问题或困境所达成的一致程度。我们提出了一个框架，通过解决方案匹配在自然、自由形式的场景中衡量社会规范对齐。该框架使我们能够衡量任意两个困境回应之间的一致性，例如 LLM 与人类、LLM 与 LLM，或人类与人类之间。我们引入了两个指标：陈述一致准确率和显式一致准确率，并构建了一个包含 3k 个丹麦语非平凡社会困境的数据集。所有困境都分配了参考解决方案，这些方案源自三位小组成员，他们作为具有文化根基的评判者。我们在类似自然用户-模型对话的交互设置中评估了若干 LLM 和人类回应的一致性。结果表明，所提出的指标产生了一致的模型排名，并揭示了不同类型困境之间一致性的差异，其中在邻里冲突和合住情境等主题上观察到更高的一致性。总体而言，我们的工作引入了一个数据集和评估框架，用于研究自然开放式对话中具有文化根基的社会推理。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.23420 [cs.CL] |
| （或 arXiv:2605.23420v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.23420 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yevhen Kostiuk [查看邮箱]
[v1]
2026年5月22日星期五 09:29:18 UTC（13,916 KB）
[v2]
2026年10月26日星期一 10:05:32 UTC（7,057 KB）
来源：arXiv cs.CL · arxiv.org