跳到正文
#语音
10月9日周五
  2. GitHub22

    Mockio：面向拉美技术人的 AI 英语面试模拟器

    Mockio 是一款面向拉美技术从业者的 AI 英语面试模拟器，由模拟真实公司的面试官逐题提问，事后从词汇、结构和西语母语者常见语法错误三方面给出结构化评估。系统分实时面试官与异步评估器两阶段，模型路由覆盖四家厂商，支持 Deepgram 流式语音转写，并以每分钟词数、填充词率、思考时间和词汇广度等从转写文本统计的指标衡量表现。

  4. GitHub17

    kokoclone：Windows 上的实时语音克隆工具

    kokoclone 是一款面向 Windows 10 及以上系统的语音克隆软件，可上传或录制至少 5 秒的语音样本克隆任意声音，并实时将文本转为该声音朗读，支持英语、西班牙语、日语等数十种语言。软件要求 8 GB 内存、64 位处理器和 1 GB 磁盘空间，无需编程即可使用，支持导出音频文件，并提供语速、音量调节与实时语音监听等设置。

  10. Hacker News60

    Veda 发布智能体原生操作系统，用 Rust 从零实现并开源

    Veda 发布一个智能体原生操作系统，把 AI 智能体做成开机即启动的系统服务，而非后加的助手，全部代码用 Rust 从零编写并已在 GitHub 开源。应用通过 agentapp 协议声明带类型参数和风险等级的动作与结构化状态，智能体调用与键鼠走同一套代码，内置应用合计提供 70 多个动作；动作分为常规、敏感、破坏性三级，敏感与破坏性动作需用户在桌面外壳确认后才执行。

  12. RadarAI42

    Whisper Medium 微调孟加拉语 ASR：词错误率从 85.27% 降至 7.65%

    在 Voice Arena 的 ASR 语料库 Monsoon 上微调的 Whisper Medium，将孟加拉语 FLEURS 上的 LLM 词错误率从 85.27% 降至 7.65%。Whisper Medium 为 769M 参数，体积足够小，可低成本部署，并在许多场景下靠近用户运行。Monsoon 覆盖 50 种语言、共 10 万小时，发布七天内已有 80 多家机构申请授权。

  13. Sierra Blog58

    Sierra 发布 fleming-1，实时识别来电方是否为 AI 智能体

    Sierra 更新其模型系列并推出 fleming-1，可在通话进行中实时分析来电者语音，判断对方是否为 AI 智能体。该模型默认偏保守，避免误标真人，识别结果只作提示，由企业自行决定如何处理这类来电。fleming-1 可与任何基于 Sierra 构建的语音智能体配合使用，开启即可生效；此前 Sierra 还宣布了面向个人智能体的开放标准 Personal Agent Protocol。

10月8日周四
  2. arXiv cs.AI41

    研究发现语音"克隆"实为风格迁移，而非忠实复制

    一项 NeurIPS 2026 研究指出，广泛使用的语音克隆模型并非忠实"克隆"个人声音，而是对源声音系统性地施加风格迁移。人类标注者认为克隆声音比原声更具权威感、亲和力和客服感，信任度更高，也更愿意向其透露敏感个人信息。研究还发现克隆导致口音、语速和音频嵌入空间方差缩小，造成说话人特征同质化。

  4. arXiv cs.AI23

    针对多语言语音匿名化的声学与内容导向说话人验证攻击研究

    研究评估了声学导向与内容导向的攻击者 ASV 系统在多语言匿名语音上的表现，发现攻击效果取决于匿名语音的语言可用性，声学导向攻击者整体性能更优。当语言信息保留较好时，内容导向与声学导向攻击者的性能差距较语音失真更强时缩小。研究构建的多语言语音转换数据集进一步提升了性能并部分缩小了跨语言差距，相关代码、预训练模型和 MultiVC 数据集已公开。

  5. arXiv cs.AI34

    Jarvis：面向多方对话的主动式语音智能体

    Jarvis 是一个实时主动式语音智能体，能参与多人对话，在群体遗漏或说错事实且数轮内未自我纠正时出声介入。它基于事先共享的文档，用小型开放权重模型配合确定性检查，并将每条论断锚定到原文句子。在 CHI-180-proactive 数据集上，Jarvis 对多数介入事件判断正确，群体自行解决问题时 97% 的情况下保持沉默；23 人实时研究验证了该趋势。

  6. arXiv cs.AI24

    Logbook：面向小时级长音频事件理解的基准

    研究者推出 Logbook 基准，用于小时级音频理解，录音时长从 10 分钟到 6 天，要求系统在给定连续音频和事件标签词表下输出无间隙分段，并为每段给出标签和描述。团队对比了 52 个端到端与级联系统，并消融微调、上下文长度和推理预算，发现任务可解但最佳系统仍低于人类参考水平，过度分段普遍存在，微调可部分缓解，端到端系统通常优于级联系统但随上下文变长而退化。

  7. arXiv cs.CL13

    PACT-SLM：语音智能体何时有足够证据行动？

    研究者提出 PACT-SLM 契约测试，为流式语音智能体分配首个有效行动时间，同时评估行动身份与时机。主测试用四个留出语义家族的 80 组配对对比，在干净与 15 dB 噪声下生成 1,600 条前缀预测；WavLM Base Plus 的起始后语义标签准确率为 26.03%，在 18.99% 的起始前前缀上暴露行动，仅 5.94% 完整轨迹预测正确。结果显示行动身份与起始时机需分开测量。

  10. arXiv cs.CL22

    面向多语言语音识别的 LLM 音素到字素方法研究

    研究在十语言 CV-Lang10 基准上探索基于 LLM 的多语言音素到字素（P2G）转换，针对 S2P 不确定性提出 DANP 与 Simplified SKM（S-SKM）鲁棒性策略，其中 S-SKM 是一种蒙特卡洛近似方法，可避免在 P2G 训练中使用基于 CTC 的 S2P 概率加权。结合鲁棒训练与低资源过采样，平均 WER 从 10.56% 降至 7.66%。

  11. arXiv cs.CL22

    WaveScat：结合小波散射与自监督特征的语音深度伪造检测前端

    WaveScat 是一种结合小波散射变换（WST）与自监督特征的语音深度伪造检测前端，在 Deepfake-Eval-2024 基准及 SpoofCeleb、In-the-Wild、ASVspoof 5 跨数据集评测中大幅优于现有前端。分析表明，小平均尺度配合高频与方向分辨率对捕捉细微伪造痕迹至关重要。代码与补充材料已公开。

  12. arXiv cs.AI27

    PersonaPlex-7B 全双工语音模型对话中的轮流发言为何滞后

    两个 PersonaPlex-7B 实例在共享时钟上交换音频 token 进行无脚本对话，其轮流发言时序相互耦合，重新配对说话人会破坏这种耦合。但它们的发言权交接偏晚，中位数为 400-560 ms，而人类为 137 ms；在伙伴发言最后 120 ms 内，人类有十分之一的交接发生于此，而这些模型仅占 1%。

  14. arXiv cs.CL31

    Brain2Semantics2Text：用语义表示实现非侵入式语音解码

    Brain2Semantics2Text 通过中间语义嵌入空间重建文本，将句子级 MEG 响应映射到语义流形后再反演为自然语言，无需词级对齐即可恢复高层语义。该方法针对非侵入式神经记录信噪比低、难以细粒度重建音素或单词的问题，利用跨皮层分布且时间尺度更慢的高层语义表示作为解码目标，与既有非侵入式 Brain2Text 方法相比提升了句子级结果。

  15. arXiv cs.CL21

    如何消除自监督语音表征中的口音-语言混淆以提升语言识别

    针对自监督语音表征微调的 LID 模型常把非母语（L2）口音误判为说话人母语（L1）的问题，研究者提出一种几何投影方法，仅用母语语音估计 L1 偏置方向，并在冻结的 LID 头之前将其移除。在五个 MMS-LID 模型和非母语语料上，该方法显著提升了对 L2 口音语音的目标语言识别，同时保持母语语音预测不变，且无需 L2 训练数据或模型适配。

  18. arXiv cs.CL22

    面向 LLM 语音识别的音素引导初始化方法

    研究者提出"音素引导初始化"方法：先在语音转音素（S2P）任务上预训练音频编码器、在音素转字素（P2G）任务上预训练 LLM，再连接两者并在目标 ASR 任务上端到端微调。在日语 CSJ、中文 AISHELL-1 及 Common Voice 25.0 的鞑靼语和乌尔都语上，该方法持平或优于级联 S2P-P2G 基线与未做 P2G 初始化的端到端模型。该工作已被 IEEE SLT 2026 接收。

  19. arXiv cs.CL22

    词错误率够用吗？用实体感知指标重新思考语音隐私评估

    研究将 NLP 领域的实体感知隐私指标引入语音隐私评估，检验两种混淆技术对语音内容尤其是命名实体的保护效果。实验显示，在实体丰富数据上微调能提升部分实体类别的攻击性能，但对其他类别无效。作者据此给出建议：指标选择应取决于混淆方法是否保持时间对齐。

  20. arXiv cs.CL23

    EmphTTS：用强化学习实现词级重音控制的 TTS 系统

    EmphTTS 是一个非自回归 TTS 系统，将 GRPO 应用于时长预测器并配合重音定位奖励，实现对词级重音的直接优化。评测显示其在重音可控性和重音客观评价上均表现最佳，主观偏好测试中显著优于合成 groundtruth 和多数基线。消融实验表明 GRPO 的重音实现效果优于监督微调时长建模和简单语速调整，同时缓解了独立训练的时长预测器与 TTS 模型之间的不匹配。