arXiv cs.AI· Aaron Broukhim, Nadir Weibel, Eshin Jolly·· 10 小时前AI 评分34
相同语义、不同判断：人类偏好标注如何随文本与音频模态变化
Same Words, Different Judgments: How Preferences Vary Across Modalities
AI 导读
一项基于ICC的跨模态对照研究比较了100条提示词下文本与音频的相同语义内容偏好标注，发现音频ICC(2,k)约0.81、文本约0.74，均需约9名标注者才能达到良好至接近良好的一致性。音频标注者决策阈值更窄、长度偏差更小、评价标准更以用户为中心，跨模态一致性接近随机水平。合成评分可有效预测标注者间一致性，可作为刺激筛选的早期信号与人类标注的代理指标。
正文 · AI 翻译
摘要：基于偏好的强化学习（PbRL）是将 AI 系统与人类偏好对齐的主流框架。然而，此类数据的评估协议是为文本设计的，尚未在语音上得到验证。我们首次开展了基于组内相关系数（ICC）的受控跨模态研究，考察人类与合成偏好标注，在 100 条提示上比较对相同语义内容的文本与音频评估。我们表明，要在任一模态内达到\textit{良好}（音频）至\textit{接近良好}（文本）的一致性（ICC(2,$k$) $\approx$ .81 音频，.74 文本），需要 $\sim$9 名评分者，且各模态在人们报告偏好的方式上表现出显著差异：音频评分者的决策阈值更窄、长度偏差更小、评估标准更以用户为导向，跨模态一致性接近随机水平。我们证明，合成评分可有效预测评分者间一致性，从而作为刺激选择的早期信号和人类标注的代理。综上，这些发现表明音频偏好数据的评估协议需要针对模态进行专门设计，而非直接照搬文本。代码、数据和音频语料库见：this https URL
| 评论： | 已被 NeurIPS 2026 Evaluations and Datasets Track 接收 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2602.22710 [cs.SD] |
| （或 arXiv:2602.22710v4 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.22710 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aaron Broukhim [查看邮箱]
[v1]
2026 年 2 月 26 日星期四 07:34:15 UTC（148 KB）
[v2]
2026 年 5 月 6 日星期三 21:24:15 UTC（260 KB）
[v3]
2026 年 11 月 3 日星期二 17:54:51 UTC（275 KB）
[v4]
2026 年 11 月 4 日星期三 18:43:22 UTC（275 KB）
来源：arXiv cs.AI · arxiv.org