arXiv cs.AI· Hoang Nguyen, Sidharth Surapaneni, Akshay Kalkunte, Jash Mehta, Aman Tiwari, Oluwanifemi Bamgbose, Khyati Mahajan, Jash Shah, Shruthan Radhakrishna, Sathwik Tejaswi Madhusudhan, Vikas Yadav, Sai Rajeswar·· 11 小时前AI 评分32
AU-Harness：面向 Audio-LLM 高效统一评估的开源工具包
AU-Harness: An Open-Source Toolkit for Efficient and Unified Evaluation of AUdio-LLMs
AI 导读
AU-Harness 是面向大型音频语言模型（LALM）的开源评估框架，评估处理时间较现有工具包减少 77%。它提供标准化评估协议与灵活配置，支持多轮对话动态分析，弥补现有框架在多轮上下文整合与规模化评估上的不足。该工具已被 EMNLP 2026 Findings 收录。
正文 · AI 翻译
作者：Hoang Nguyen、Sidharth Surapaneni、Akshay Kalkunte、Jash Mehta、Aman Tiwari、Oluwanifemi Bamgbose、Khyati Mahajan、Jash Shah、Shruthan Radhakrishna、Sathwik Tejaswi Madhusudhan、Vikas Yadav、Sai Rajeswar
摘要：大型音频语言模型（LALMs）正快速发展，但由于工具包效率低下且缺乏标准化，评估工作仍面临挑战，限制了公平比较与系统性评估。现有评估框架存在三个关键局限：（1）处理流程缓慢低效，成为大规模研究的瓶颈；（2）多轮对话支持不足，导致关于跨轮上下文整合以及 LALMs 在长对话中性能动态变化的基本问题仍无答案；（3）缺乏统一且可扩展的评估框架，无法跟上 LALMs 与音频基准的快速增长。为解决这些问题，我们推出 AU-Harness，一个高效且全面的 LALMs 评估框架。我们的实证研究表明，AU-Harness 相比现有评估工具包将评估处理时间缩短了 77%，使此前被认为不切实际的大规模 LALM 评估成为可能。我们提供标准化评估协议和灵活配置，以便在不同场景下进行公平的模型比较。AU-Harness 解锁了一系列在没有统一基础时难以开展的深入分析，包括多轮对话动态，从而能够研究现有 LALMs 真正的音频推理能力。AU-Harness 既提供实用的评估工具，也提供对模型局限性的洞见，推动 LALM 的系统化发展。
| 评论： | EMNLP 2026 Findings |
| 主题： | 声音（cs.SD）；人工智能（cs.AI）；机器学习（cs.LG）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2509.08031 [cs.SD] |
| （或 arXiv:2509.08031v4 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.08031 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aman Tiwari [查看邮箱]
[v1]
2025年9月9日星期二 15:30:40 UTC（636 KB）
[v2]
2025年9月11日星期四 16:27:59 UTC（634 KB）
[v3]
2026年5月11日星期一 14:29:23 UTC（5,367 KB）
[v4]
2026年10月23日星期五 04:45:20 UTC（6,188 KB）
来源：arXiv cs.AI · arxiv.org