arXiv cs.AI· Khubaib Ahmed, Ahsan Adeel, Nasir Saleem, Kia Dashtipour, Ahsan Ulhaq, Amir Hussain·· 6 天前AI 评分21
基于强化学习神经架构搜索的高效音视频语音增强
Efficient Audio-Visual Speech Enhancement via Reinforcement Learning-Based Neural Architecture Search
AI 导读
研究者提出 RL-NAS 框架，用强化学习驱动的神经架构搜索为音视频语音增强（AVSE）寻找紧凑架构，仅评估 35 个候选模型即找到参数量 2.9M 的模型，相比基线 22M 缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升，仅比基线低 0.7 dB，在商用移动 CPU 上实时因子降低 4.3 倍，搜索效率较随机搜索高 92%。
正文 · AI 翻译
摘要：音视频语音增强（AVSE）可提升嘈杂环境中的语音清晰度，但通常依赖计算开销高昂的模型，不适合资源受限的边缘设备。本文提出一种强化学习驱动的神经架构搜索（RL-NAS）框架，用于发现紧凑、高效的 AVSE 架构。该搜索空间保持音频流与视觉流之间的时间对齐，同时一种新颖的奖励函数联合优化语音增强性能（以 SI-SNR 提升衡量）与模型紧凑性。该框架采用带约束感知动作掩码的近端策略优化，仅评估 35 个候选架构，并识别出一个具有 290 万参数的模型，而基线为 2200 万。所提出的架构实现了 14.5 dB 的 SI-SNR 提升，仅比基线低 0.7 dB，同时将模型大小减少约九倍。在商用移动 CPU 上的评估表明，实时因子降低 4.3 倍，支持实际设备端部署。与随机搜索相比，RL-NAS 的搜索效率提高 92%。架构分析表明，更浅但更宽的时间卷积块以及激进的视觉通路剪枝可以在保持增强性能的同时大幅降低计算需求。这些发现展示了强化学习引导的架构搜索在开发轻量、高效且可部署的多模态语音增强系统方面的潜力。
| 学科： | 声音（cs.SD）；人工智能（cs.AI）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.12796 [cs.SD] |
| （或 arXiv:2610.12796v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12796 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 相关 DOI： | https://doi.org/10.21437/AVSEC.2025-14
链接到相关资源的 DOI |
提交历史
来自：Khubaib Ahmed [查看电子邮件]
[v1]
2026年10月8日星期四 23:03:32 UTC（37 KB）
来源：arXiv cs.AI · arxiv.org