文本与音频偏好标注一致性对照研究

Aaron Broukhim 等作者发表一项基于组内相关系数（ICC）的跨模态对照研究，比较 100 条提示词下相同语义内容的文本与音频人类偏好标注。结果显示，音频标注的 ICC(2,k) 约为 0.81，文本约为 0.74，两者均需约 9 名标注者才能达到良好至接近良好的一致性。 研究还发现，音频标注者的决策阈值更窄、长度偏差更小、评价标准更以用户为中心，但跨模态一致性接近随机水平。作者称，合成评分可有效预测标注者间一致性，可作为刺激筛选的早期信号与人类标注的代理指标。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。