跳到正文
热点事件持续更新

研究者提出社会规范对齐的自然化测量框架与丹麦语数据集

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Yevhen Kostiuk 等作者提出一套在自然、自由形式场景下通过解决方案匹配衡量社会规范对齐的框架,可测量大语言模型与人类、大语言模型之间以及人与人之间对困境回答的一致程度。 该框架引入 stated 与 explicit agreement accuracy 两项指标,并构建了含 3k 个丹麦语非平凡社会困境的数据集,每个困境的参考解决方案由三位评审给出。

AI 根据报道生成 · 43 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.CL
    用自然场景下的解决方案匹配衡量 LLM 社会规范对齐

    研究者提出一套在自然、自由形式场景下通过解决方案匹配衡量社会规范对齐的框架,可测量 LLM 与人类、LLM 与 LLM、人与人之间对困境回答的一致程度。该框架引入 stated 与 explicit agreement accuracy 两项指标,并构建了含 3k 个丹麦语非平凡社会困境的数据集,每个困境的参考解决方案由三位评审给出。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。