跳到正文
10月16日周五
  1. OpenAI 部署安全与系统卡32

    OpenAI 发布 GPT-Live-1.1 系统卡

    OpenAI 发布 GPT-Live-1.1 与 GPT-Live-1.1 Quip 的系统卡,说明两款模型基于互联网公开数据、第三方合作数据及用户与人工训练师提供的数据训练,数据处理流程包含严格过滤以降低个人信息与有害内容。系统卡还给出针对违禁内容的语音原生评估,并提示此前已发布模型的对比数值取自其最新版本,可能与发布时数值略有差异。

10月15日周四
  1. arXiv cs.AI22

    CoReLoop:面向音频深度伪造检测的参数高效受控循环精炼方法

    CoReLoop 通过循环专属 LoRA 与轻量模块实现受控循环精炼,让已训练的 SSL 音频深度伪造检测器在不新增数据、不更新原参数的情况下提升泛化能力。在 14 个测试集上,24 层模型两轮精炼将 EER 从 4.85% 降至 3.74%,仅训练 598M 参数中的约 11M。可选 halting head 按语句选择精炼深度,以平均 1.18 轮达到 3.73% EER。

  2. arXiv cs.AI22

    基于音系激活映射的语音音素分割与识别

    研究者提出 SPAM(基于自监督语音模型的音系激活映射),将 S3M 每帧表示映射为清浊、鼻音等音系特征激活向量,并在其上添加识别头和分割头两个轻量、无需梯度下降的预测头。该方法仅需不到一分钟的音素转写数据,识别头可泛化到训练中未见过的音素,在多个数据集上取得强分割性能。该工作已被 SLT 2026 接收。

  3. arXiv cs.AI22

    Auto-AEG:面向开放词汇音频事件定位的可扩展数据构建方案

    Auto-AEG 通过程序合成带精确时间区间的音频片段做冷启动监督,再用多模型伪标签在真实音频上提供强化学习奖励信号,构建开放词汇音频事件定位所需的 onset/offset 监督数据。该流程在独立的分层难度基准 AEGBench 上带来大幅时间定位提升,并泛化到多个留出的 SED 与音频定位基准,其标注已开源。

  4. arXiv cs.AI22

    TypoCast:用类型学条件替代语言标签的多语言语音翻译前端

    TypoCast 是一个以源语言类型学特征(形态类型、语序、语系)为条件的多语言语音翻译前端,而非仅依赖语言标签。在 CVSS-C 上,它以仅 228M 可训练参数在法语、德语、西班牙语到英语三个方向上平均超越 SOTA 语音到语音翻译系统,并在七语言测试中每个语言都优于身份条件的 S2ST-Omni。

  5. arXiv cs.AI27

    面向长音频摘要的合成医患对话数据集发布

    研究者提出一套合成数据生成流程,用于长上下文音频推理的训练与评测,并以首诊医患对话生成 SOAP 病历为任务实例化。该流程完全基于开放权重模型,包含人设驱动对话生成、带重叠/停顿建模与房间声学及声音事件的多说话人音频合成、LLM 生成参考 SOAP 病历三个阶段,已发布 8,800 段合成对话、1.3k 小时音频及参考病历。

  6. arXiv cs.AI24

    JAL-Turn:面向全双工语音对话系统的实时鲁棒轮次切换检测联合声学-语言建模

    JAL-Turn 是一个轻量级纯语音轮次切换检测框架,通过交叉注意力模块自适应融合预训练声学与语言表征,实现低延迟的 hold/shift 预测。它共享冻结的 ASR 编码器,使轮次预测与语音识别完全并行,几乎不增加端到端延迟。在 Easy-Turn、Smart-Turn 及内部日语客服数据集上,JAL-Turn 检测准确率媲美强基线,同时保持更优的实时性能。

  7. arXiv cs.AI22

    CodecFlow:在神经编解码器潜空间用条件流匹配实现高效带宽扩展

    CodecFlow 是一个基于神经编解码器的语音带宽扩展(BWE)框架,在紧凑潜空间中完成高效语音重建,通过连续编解码器嵌入上的浊音感知条件流转换器和结构约束残差向量量化器提升潜空间对齐稳定性。端到端优化后,该框架在 8 kHz 到 16 kHz 及 44.1 kHz 语音 BWE 任务上实现了较强的频谱保真度和更优的感知质量。

  8. arXiv cs.AI22

    已知声音克隆与角色设计中人格迁移的局限

    两项研究测试了虚拟角色使用熟悉人物的克隆声音时人格印象是否会迁移,结果显示人格迁移证据有限,效应具有选择性且无法跨特质或研究情境泛化。在线研究中,可识别的语音身份线索激活了说话者预期,但未能重建更完整的人物印象,判断常受感知人工性和声音与外观匹配度影响。

  9. arXiv cs.AI22

    AMemOps:评估长音频流中的记忆更新

    研究者提出 AMemOps 基准,用于评估长音频流中的最新属性检索、未变属性保持与缺失来源拒绝。在测试乐器的其他录音上训练,可使参考 delta-rule 记忆相对匹配注意力机制的更新优势提升 13.4 个百分点;在 120 秒检索延迟下,匹配历史可区分一致重复的收益与早期冲突值的代价,加性记忆对照则识别出擦除的收益。

  10. arXiv cs.AI25

    PhysicsSliders:为音频拟音生成学习物理控制

    研究者提出 PhysicsSliders(PXS),基于 15 个材质、几何与接触参数在模拟接触音上训练,可控制硬度、尺寸、速度与阻尼并支持房间描述。两个独立训练变体分别接受直接参数输入或数值化描述文本,在固定目标下生成频谱可区分的输出。

  11. arXiv cs.AI22

    RespFocus:用多实例学习为弱监督呼吸音分类提供可检验的时间证据

    RespFocus 是一个基于多实例学习(MIL)的弱监督框架,从周期级标签中学习可检验的时间声学证据并融入分类,在公开 ICBHI 2017 上取得四分类 Score 69.55%,在新建的多中心儿科呼吸音队列 PedResp2026 上取得 72.91%。PedResp2026 采集自常规临床环境,带有经裁定的周期级标注。证据诊断与匹配的时间干预实验支持所学证据对模型预测的功能性贡献。

  12. arXiv cs.AI22

    BridgeCodec:Mamba 增强的 Schrödinger Bridge 神经音频编解码器,实现低比特率跨编解码器转换

    BridgeCodec 通过将跨编解码器转换建模为 Schrödinger Bridge 最优传输问题,解耦了冻结的编码器-解码器对,并集成 Mamba 增强的 U-Net 架构捕捉长程语音时序依赖。在 1 kbps 超低比特率下,该框架将 8 kHz 轻量源编码器直接映射到 48 kHz 目标解码器,实现了优异的宽带重建和感知质量。该工作已被 Interspeech 2026 接收。

  13. arXiv cs.AI27

    GAMW:面向 TTS 溯源、注入生成过程的 Mel 域水印框架

    GAMW 是一种集成到 TTS 生成过程中的水印注入框架,在波形合成前将内容自适应的多比特水印残差嵌入生成表示,解码目标结合 focal modulation 与动态逐比特加权。在两个 TTS 主干上分别训练评估,16-bit 载荷下,面对单一与复合扰动,其解码准确率较最强基线分别提升 9.2 和 23.5 个百分点,同时保持有竞争力的语音质量,更高载荷下仍能可靠解码干净语音。代码已开源。

  14. arXiv cs.AI22

    面向印度语言的跨语言 TTS:基准与推理时时长估计策略

    研究者构建了覆盖英语和九种印度语言的跨语言 TTS 评测基准,并提出一种语言感知的推理时时长估计策略,无需重训练或改动架构即可将语言特定的每字符时长统计引入无对齐 TTS。在双语和多语 A-DMA 模型上的实验显示,语音自然度、可懂度和说话人相似度均有提升,同时时长失配减少。数据集与代码配方已公开。

  15. arXiv cs.AI24

    AlignAudio:面向噪声鲁棒语音条件生成的双对齐统一框架

    AlignAudio 是一个基于双重对齐的噪声鲁棒语音条件生成框架,通过对齐干净与含噪语音的表示保留语义线索,并在 flow matching 范式内强化生成级一致性。在语音到音频(STA)和语音转换(VC)任务上,它在干净语音下性能与基线相当,在多种噪声条件下显著优于基线。该双对齐策略适用于单流与多流语音条件,并可集成到不同的 flow matching 生成框架与后训练设置中。

  16. arXiv cs.AI23

    AphaVoice:面向失语症患者模拟的文本转语音模型

    研究提出 AphaVoice,一个专门合成高度逼真失语症语音的 TTS 框架,用于缓解语言治疗临床资源不足下的医护人员培训难题。与当前最先进 TTS 系统相比,AphaVoice 在时间指标上更能捕捉失语症的不流畅临床特征,并持续保持说话人身份一致。该模型借助潜空间偏移(latent space shifting)支持多说话人生成而不牺牲语音真实感,论文已被 IEEE SLT 2026 接收。

  17. arXiv cs.AI29

    DuplexAct:前沿全双工语音语言模型的交互能力如何评估?

    DuplexAct 是评估端到端全双工语音语言模型(FD-SLM)交互动作能力的基准,定义了涵盖 8 种交互动作、24 种交互条件的三级动作分类体系,并通过即时执行与后续跟进两个维度衡量动作是否成功。该基准包含 4,691 个测试实例,覆盖闲聊、会议、客服和访谈场景,其中 2,531 个来自真实对话录音。