arXiv cs.AI· Jiatong Shi, Jionghao Han, Yichen Lu, Santiago Pascual, Pengfei Wu, Chenye Cui, Shinji Watanabe, Chao Weng, Cong Zhou·· 10 小时前AI 评分31
Speech-DRAME：面向语音角色扮演的人类对齐基准框架
Speech-DRAME: A Framework for Human-Aligned Benchmarks in Speech Role-Play
AI 导读
Speech-DRAME 框架包含双语人工标注基准 Speech-DRAME-EvalBench 和微调的音频语言评估器 DRAME-Eval，支持自上而下的原型评估与自下而上的真实感评估两种协议。
正文 · AI 翻译
摘要：评估口语角色扮演不仅需要评判语言内容，还需要评判韵律、情感表达、角色体现和语境契合度。现有的自动评估方法往往将这些方面压缩为粗略的分数，并且主要基于合成语音进行评估。我们提出了 Speech-DRAME，这是一个包含 Speech-DRAME-EvalBench 和 DRAME-Eval 的框架；前者是一个双语、人工标注的基准，包含角色、语境和表达不匹配的对比条件，后者是一个经过微调的音频语言评估器。该基准支持两种互补的协议：自上而下的原型评估和自下而上的真实感评估，其数据以合成的基准分布数据为主，并包含一个完全由真实人类表演组成的留出压力测试集。在基准分布集上，DRAME-Eval 在原型评估和真实感评估上的合并皮尔逊相关系数分别为 0.629 和 0.602，显著优于所评估的零样本和少样本音频语言评判器；模态控制表明，其判断同时依赖于语音和文本语境。这种对齐并未迁移到真实语音测试集上，在该测试集上 DRAME-Eval 的平均相关系数为 -0.142，说话人内相关系数为 +0.029，而匹配的人类单评分者一致性为 +0.34。这些结果揭示了一个显著的合成到真实迁移差距，并将 Speech-DRAME 确立为研究和改进真实人类表演之间表演差异评估的资源。
| 评论： | 94 页，TMLR 10 月 |
| 主题： | 声音 (cs.SD)；人工智能 (cs.AI)；音频与语音处理 (eess.AS) |
| 引用为： | arXiv:2511.01261 [cs.SD] |
| （或使用 arXiv:2511.01261v2 [cs.SD] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2511.01261 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiatong Shi [查看邮箱]
[v1]
2025 年 11 月 3 日星期一 06:12:40 UTC（5,393 KB）
[v2]
2026 年 10 月 29 日星期四 19:42:20 UTC（5,228 KB）
来源：arXiv cs.AI · arxiv.org