arXiv cs.AI· Yi Wang, Tianzi Wang, Peter Bell·· 13 小时前AI 评分34
精简工具集与模态整合：高效智能体音视频问答
Efficient Agentic Audio-Visual Question Answering through Toolset Pruning and Modality Consolidation
AI 导读
研究从专用工具 OmniAgent 出发，通过分阶段剪枝工具集并将模态专用工具逐步整合为全模态工具，构建出仅含全模态描述与全模态问答两个工具的紧凑智能体。在三个常用 AVQA 基准上，该紧凑智能体准确率与专用工具智能体相当或更优，同时推理成本降低约 70%。
正文 · AI 翻译
摘要：细粒度音视频问答（AVQA）要求模型从稀疏分布的证据中解决复杂的跨模态对应关系并进行时间定位。全模态智能体能够自主编排感知工具以主动收集证据，从而实现强劲性能，但尚不清楚来自音频和视觉两种模态的主动感知是否依赖于广泛的专用工具集，尤其是音频或视觉模态专用工具。此类系统还可能引入较长的执行轨迹和大量推理成本。我们研究了仅暴露必要感知能力的紧凑工作流能否保持相当的性能。从专用工具 OmniAgent 出发，我们进行了分阶段控制实验，裁剪工具集并将模态专用工具逐步整合为全模态工具，进而提出仅包含全模态描述和全模态问答两个工具的智能体。在三个广泛使用的 AVQA 基准上，我们的紧凑智能体取得了与专用工具智能体相当或更好的准确率，同时将推理成本降低约 70%。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.38960 [cs.AI] |
| （或 arXiv:2610.38960v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38960 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yi Wang [查看电子邮件]
[v1]
2026年10月28日星期三 21:44:12 UTC（1,355 KB）
来源：arXiv cs.AI · arxiv.org