arXiv cs.AI· Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Muhammad Awais, Philip J. B. Jackson, Jiankang Deng, Ismail Elezi·· 3 天前AI 评分26
AudioChaps：用 GRPO 与 CoT 对齐 LALM 实现音频章节化
Listen, Reason, and Segment: Aligning LALMs with Editorial Judgment for Media Chapterization
AI 导读
AudioChaps 是一个通过 GRPO 结合 CoT 推理对端到端 LALM 进行后训练对齐的框架，用于将连续音频流切分为主题连贯的章节。不做 SFT 冷启动直接应用 GRPO 的 AudioChaps-R1-Zero 平均 F1 比 SOTA 的 Audio-Flamingo-3-Think 提升 33 分，最终对齐模型 AudioChaps-R1 提升 49 分。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）在标准化基准上取得了快速进展，但它们在实用媒体工作流、内容策展、档案索引和内容分发中的部署仍基本未实现。我们将自动音频章节化——即将连续音频流分割为主题连贯章节的任务——视为一个要求严苛且具有商业重要性的场景，它暴露了这一差距。章节化之所以具有挑战性，是因为边界与其说由客观声学事件定义，不如说由主观编辑判断定义，这要求模型在长声学上下文上进行顺序推理，并近似创作者撰写的边界决策。我们提出 AudioChaps，一个后训练框架，通过由思维链（CoT）推理引导的组相对策略优化（GRPO），为这一任务对齐端到端 LALMs。为支持训练和评估，我们整理了三个数据集：AudioChaps-Alignment，源自 YouTube 上创作者标注的章节边界；AudioChaps-CoT，为格式良好、高质量且有证据支撑的边界推理提供结构化监督；以及 AudioChaps-Eval，一个用于音频章节化的留出基准。在没有监督微调（SFT）冷启动的情况下直接应用 GRPO，AudioChaps-R1-Zero 已将平均 F1 较最先进的 LALM Audio-Flamingo-3-Think 提升 33 个点。AudioChaps 框架产生了我们最终对齐的 LALM，即 AudioChaps-R1，其平均 F1 提升了 49 个点。这些结果表明，经 GRPO 训练的 LALMs 能够可靠地将非结构化听觉流转化为可导航的结构化媒体。我们的代码、模型和数据集资源将在录用后于 此 https URL 发布。
| Comments: | 19 页，9 幅图，8 张表 |
| Subjects: | 声音（cs.SD）；人工智能（cs.AI）；计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| Cite as: | arXiv:2608.16539 [cs.SD] |
| （或 arXiv:2608.16539v2 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.16539 arXiv 颁发的 DOI，经由 DataCite |
Submission history
来自：Tony Alex [查看电子邮件]
[v1]
2026 年 8 月 17 日星期一 13:14:01 UTC（2,546 KB）
[v2]
2026 年 10 月 11 日星期日 18:37:15 UTC（2,546 KB）
来源：arXiv cs.AI · arxiv.org