跳到正文
#语音
10月12日周一
  6. TechCrunch · AI36

    前Plaud高管创业Ambi：融资2600万美元，做全天候后台聆听的AI应用

    前Plaud高管Peter Mo创办的Ambi完成2600万美元多轮融资，由Luminous Ventures和华勤（Huaqin）领投，并推出iPhone、Mac和Apple Watch应用。其AI智能体可在会议进行中主动给出建议或调取知识，支持跨设备接续任务，环境录音默认关闭且不存储录音。公司还计划推出带屏幕、扬声器、摄像头和麦克风的硬件设备。

  7. Hacker News62

    Veda 发布智能体原生操作系统，语音智能体内置为系统服务

    Veda 发布一个从零用 Rust 编写的智能体原生操作系统，语音智能体作为系统服务在启动时运行，通过与应用相同的代码路径执行操作，而非截屏或模拟点击。应用以 JSON 声明动作、参数和风险等级，内置应用提供 70 多个动作；每个动作分为常规、敏感和破坏性三档，后两档由系统服务而非语言模型持有，需用户在三分钟内确认。

  8. GitHub18

    awesome-voice-typing：免费语音输入与转写工具合集

    GitHub 项目 awesome-voice-typing 汇集了多款免费语音转文字与语音输入工具，支持听写、音频转写和语音命令，许多工具可离线运行以保护隐私。该指南面向 Windows 10/11 用户，要求 4 GB 内存、2 GHz 双核处理器和至少 1 GB 可用磁盘空间，无需编程知识即可下载安装使用。工具同时支持 Linux、macOS、Android 和 iOS。

  14. arXiv cs.AI30

    DEAF：音频语言模型声学忠实度诊断评测基准

    研究者推出 DEAF 基准，包含 2700 多条冲突刺激，覆盖情感韵律、背景音和说话人身份三个声学维度，并设计逐级增强文本影响的多层次评测框架。对 7 个 Audio MLLM 的评测显示，模型虽对声学变化敏感，但预测主要由文本输入驱动，标准语音基准的高分与真实声学理解之间存在差距。

  16. arXiv cs.AI21

    基于强化学习神经架构搜索的高效音视频语音增强

    研究者提出 RL-NAS 框架，用强化学习驱动的神经架构搜索为音视频语音增强（AVSE）寻找紧凑架构，仅评估 35 个候选模型即找到参数量 2.9M 的模型，相比基线 22M 缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升，仅比基线低 0.7 dB，在商用移动 CPU 上实时因子降低 4.3 倍，搜索效率较随机搜索高 92%。

  17. arXiv cs.AI24

    CircuitTree：将电路组合成音节转录器

    研究者提出 CircuitTree，一种基于 Θ(N log N) 树形组合调度的数据结构，可将任意多个电路组合进单一模型，克服了此前朴素并集方法的局限。他们将从 HuBERT 中剪枝出的音素分类电路组合成音节分类器，这是 39 个音素电路单独都不具备的能力。

  18. arXiv cs.AI23

    位置重要吗？黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位

    研究提出一种黑盒因果测试，通过 CLAP 相似度定位音频证据区域并用频谱门控移除，在三个 LALM 上以 2x2x2 网格对比随机窗口。在 Qwen2-Audio-7B 上，定位消融的原始 AUROC（0.613）低于 blank 波形（0.721），但这是时长混淆所致；固定时长后定位在每个网格单元均优于随机移除。

  19. arXiv cs.AI23

    SWEAR：通过自评难度实现分段高效音频推理

    SWEAR 是一个难度感知的音频推理框架，通过离线评估生成五维难度分数与压缩推理轨迹，在监督微调中学习难度信号，并用强化学习在不同推理阶段自适应分配推理量。在 MMAU-test-mini 和 MMAR 上，SWEAR 在提升准确率的同时大幅减少生成 token，对简单样本缩短推理且不损失困难样本表现。

  21. arXiv cs.CL22

    重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系

    研究从熵分配视角重新审视 LLM-based ASR，提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减，并据此设计基于能力边界意识的多阶段训练策略。该方法在中文和英文基准上仅用 2.3B 参数即达到与 SOTA 模型相当的竞争力，同时通过解耦设计有效缓解模型幻觉。论文已被 NeurIPS 2026 主赛道接收。

  22. arXiv cs.CL24

    M3-DuplexBench：面向全双工语音对话模型的多轮、多语言、多领域基准

    M3-DuplexBench 是一个面向全双工语音对话系统（FDSDS）的多轮、多语言、多领域基准，可对交互时序与回复内容进行受控评估。该基准覆盖英语和日语，横跨闲聊与多轮问答，其中英日问答数据源自同一语料库，支持跨语言的时序与内容对比。它还提供参考条件多轮设置作为可选诊断，实验揭示不同模型在交互模式、语言与领域差异以及对话上下文影响上的模型依赖性。

  25. arXiv cs.CL22

    OpenPA：无需强制对齐的混合转写自适应多粒度发音评估框架

    OpenPA 是一个无需强制对齐的自动发音评估框架，利用 Whisper 的交叉注意力机制同时预测词级和语句级发音分数。它通过混合转写自适应和自适应替换加权，在单一模型中兼容封闭与开放响应场景的异构转写。仅用 speechocean762 训练，OpenPA 在域内封闭及模拟开放响应条件下取得所评估系统中最强整体表现，并在 MultiPA 上保持零样本性能。

  27. arXiv cs.CL17

    重新审视 DistilHuBERT 口音分类：说话人分离评估与跨语料泛化

    研究基于 DistilHuBERT 重新评估口音分类鲁棒性，使用 L2-ARCTIC 与多个外部英语口音数据集，对比文件级与说话人分离划分。结果显示文件级评估显著高估性能，说话人分离评估才能更真实反映对未见说话人的泛化能力；仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC，平衡外部数据训练是最有前景的监督设置，而仅靠置信度过滤的伪标签在域不匹配下不够充分。

  28. arXiv cs.CL18

    金融语音需要持续学习正则化吗？EWC 与 mini-KFAC 在财报电话会议 ASR 上的研究

    研究将 Whisper-small 从通用语音语料适配到 Earnings22 基准，发现所有评估方法在同域金融语音留出集上均出现性能提升而非灾难性遗忘，任务互补性使正则化反而有害。当确需正则化时，逐层 mini-KFAC 近似比标准对角 EWC 取得更低 WER 和更稳定的优化。结果表明应用持续学习约束前应先评估任务互补性，必要时优先选择 mini-KFAC EWC。

  29. arXiv cs.CL23

    生成音乐的音频语言评判模型到底在听什么？四项探针与专家评分对照研究

    研究提出四项探针检验开放音频语言模型作为生成音乐评判者时究竟响应音乐、文本提示还是提问方式，并在 MusicEval 全部 2,748 个片段上测试五个开放评判模型。去掉音频后，没有任何评判模型超过仅凭提示词从人类评分预测的水平；成对评判中四个较小模型的结论跟随片段位置而非质量，改写指令对多数模型相关性影响堪比更换评判模型。作者建议每次音乐评判都报告这四项探针结果。

  31. arXiv cs.CL29

    语音 LLM 如何避免刻板印象？BASIS-Bench 评测个性化与偏见的边界

    研究者提出 BASIS-Bench，从人口统计鲁棒性、刻板偏见和个性化三个维度，区分语音 LLM 的有益个性化与刻板行为。对八个近期语音 LLM 的评测显示，多数模型虽能识别口音等人口统计线索，却无法将其转化为恰当的个性化回应；显式人口标签虽提升个性化效果，却也放大了文本骨干中已有的刻板关联。

  32. arXiv cs.CL22

    从 210 万小时广播音频到芬兰语语音 SSL：置信度过滤与大规模架构分析

    研究团队从 210 万小时无约束广播音频出发，提出以 ASR 置信度作为预训练数据质量代理，相比基于 LID 的过滤在训练集更小的情况下取得 3-7% 的相对 WER 提升。研究还在匹配参数预算下对比了 Transformer、Macaron-Net、Conformer 和 E-Branchformer 四种架构，模型在 Base 规模和域外场景上优于此前的芬兰语 SSL 基线。

  37. Hacker News18

    YouTube Transcript Generator：免费将无字幕 YouTube 视频转为文字

    YouTube Transcript Generator 是一款免费在线工具，用 AI 语音识别把无字幕或无 caption 的 YouTube 视频转成文字，无需下载或注册。它支持粘贴视频链接后自动转录，生成带时间戳的文稿和摘要，并可导出为 TXT、SRT、DOCX 格式。官方称已有 10M+ 用户和 8,000+ 团队使用，累计转录超 8000 万小时。