arXiv cs.CL· Aryan Vijay Bhosale, Harshit Rajgarhia, Abhishek Mukherji, Dinesh Manocha·· 12 小时前AI 评分38
TORUS:面向统一音频模型的闭环基准发布
TORUS: A Unified Closed-Loop Benchmark for Unified Audio Models
AI 导读
TORUS 是一个音频原生统一基准,用 1,053 道题(117 项测试)覆盖 21 个任务、8 种音频场景设置和全部 3 类音频,闭环评估统一音频模型的理解-生成自洽性(UGC_OWN)。测试显示最佳统一模型只能答对自身生成音频的 52.4% 问题,gpt-audio 为 53.6%。研究据此把理解-生成一致性列为未来统一音频系统的关键测试项。
正文 · AI 翻译
摘要:能够进行音频理解、音频生成以及日益增多的音频编辑的统一音频模型正在迅速增多。然而,每项能力都是在专门的基准上单独评估的,一个基本问题仍未得到解答:这些模型能否理解它们所生成/编辑的音频,即它们是否表现出音频理解-生成自洽性(UGC_OWN)?我们提出了 TORUS,一个音频原生的统一基准,用于对统一音频模型进行整体、闭环的评估,包含 1,053 个问题(117 项测试),涵盖 21 项任务和 8 种音频领域设置,覆盖全部 3 种音频类型。我们在客观和主观指标上评估了统一模型以及专用模型的级联。最佳的统一模型只能回答关于其生成内容的 52.4% 的问题,而 gpt-audio 能回答 53.6% 的问题。我们假设,真正统一的音频智能应具有高度自洽性,因此将理解-生成一致性定位为未来统一音频系统的一项必要测试。更多细节见我们的项目页面:this https URL
| 主题: | 声音(cs.SD);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2607.28896 [cs.SD] |
| (或 arXiv:2607.28896v2 [cs.SD] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2607.28896 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Aryan Vijay Bhosale [查看电子邮件]
[v1]
2026年7月30日星期四 23:28:11 UTC(4,643 KB)
[v2]
2026年10月21日星期三 17:45:20 UTC(4,825 KB)
来源:arXiv cs.CL · arxiv.org