OpenAI 为 ChatGPT、Codex 和 dots 语音模式升级 GPT-Live-1.1
OpenAI 为 ChatGPT、Codex 和 dots 的语音模式推送升级,新模型 GPT-Live-1.1 新增法语、德语、印地语、墨西哥西班牙语、韩语和日语等语音支持。此前频繁出现的“Checking..”提示也将消失,该提示在 vibe coding 过程中颇为烦人。API 支持即将推出。
OpenAI 为 ChatGPT、Codex 和 dots 的语音模式推送升级,新模型 GPT-Live-1.1 新增法语、德语、印地语、墨西哥西班牙语、韩语和日语等语音支持。此前频繁出现的“Checking..”提示也将消失,该提示在 vibe coding 过程中颇为烦人。API 支持即将推出。
Suno 在 X 上梳理了侧链压缩的历史,并说明如何在 Suno Studio 中实现这一效果。侧链压缩在现代音乐制作中无处不在,但其实是音频领域最古老的技巧之一。
OpenAI 发布 GPT-Live-1.1 与 GPT-Live-1.1 Quip 的系统卡,说明两款模型基于互联网公开数据、第三方合作数据及用户与人工训练师提供的数据训练,数据处理流程包含严格过滤以降低个人信息与有害内容。系统卡还给出针对违禁内容的语音原生评估,并提示此前已发布模型的对比数值取自其最新版本,可能与发布时数值略有差异。
极客公园体验了 OPPO 在 9 月 17 日 ODC 上首次亮相的 AI 心力球,主机加 C 桥仅 9.8 克,满电支持 24 小时连续记录,从收纳盒取出即自动进入聆听状态,无需手动开关。
ElevenLabs 将最新语音模型 Eleven v4 与其他模型在八种语言中进行盲测,听众在每项测试中都认为 Eleven v4 更具表现力。
ElevenLabs 发布 Eleven v4 和 Eleven v4 Turbo,官方称这是其速度最快、情感表现最强的语音模型。官方表示该模型在 Artificial Analysis 排名第一,更多信息见 https://x.com/ElevenLabs/status/2104572127617994917。
Superwhisper 推出 Superwhisper Meetings,号称首个完全在设备端运行的会议记录与笔记工具,会议内容和摘要只留在用户笔记本电脑上。该产品由 Tiny Aya 和 Cohere Transcribe 提供支持,Cohere 称这是此类首次合作。
Ubuntu 26.10(代号 Stonking Stingray)正式发布,基于 Ubuntu 26.04 LTS,全面采用 Rust 版 coreutils,支持后量子就绪的软件包签名与扩展的 TPM 全盘加密,并集成 Microsoft Entra ID 密码与多因素认证。
研究人员用计算机合成布宜诺斯艾利斯公园里棕颈歌鹀(rufous-collared sparrows)1960年代的手绘标注鸣唱,不到三个月就有当地个体开始模仿其中部分段落。
Amazon 旗下可穿戴厂商 Bee 发布两款个人 AI 设备,Bee Frontier 售价 $74.99,可腕戴或夹在衣服上,Bee Eclipse 售价 $99.99,为信用卡尺寸、磁吸在手机背面。
CoReLoop 通过循环专属 LoRA 与轻量模块实现受控循环精炼,让已训练的 SSL 音频深度伪造检测器在不新增数据、不更新原参数的情况下提升泛化能力。在 14 个测试集上,24 层模型两轮精炼将 EER 从 4.85% 降至 3.74%,仅训练 598M 参数中的约 11M。可选 halting head 按语句选择精炼深度,以平均 1.18 轮达到 3.73% EER。
AudioChaps 是一个通过 GRPO 结合 CoT 推理对端到端 LALM 进行后训练对齐的框架,用于将连续音频流切分为主题连贯的章节。不做 SFT 冷启动直接应用 GRPO 的 AudioChaps-R1-Zero 平均 F1 比 SOTA 的 Audio-Flamingo-3-Think 提升 33 分,最终对齐模型 AudioChaps-R1 提升 49 分。
研究者提出 SPAM(基于自监督语音模型的音系激活映射),将 S3M 每帧表示映射为清浊、鼻音等音系特征激活向量,并在其上添加识别头和分割头两个轻量、无需梯度下降的预测头。该方法仅需不到一分钟的音素转写数据,识别头可泛化到训练中未见过的音素,在多个数据集上取得强分割性能。该工作已被 SLT 2026 接收。
Auto-AEG 通过程序合成带精确时间区间的音频片段做冷启动监督,再用多模型伪标签在真实音频上提供强化学习奖励信号,构建开放词汇音频事件定位所需的 onset/offset 监督数据。该流程在独立的分层难度基准 AEGBench 上带来大幅时间定位提升,并泛化到多个留出的 SED 与音频定位基准,其标注已开源。
研究者提出 RAIL——一个基于 Cattell-Horn-Carroll(CHC)框架、以人为中心的听觉智能基准,将听觉认知形式化为五项核心能力并构建结构化评测任务。
TypoCast 是一个以源语言类型学特征(形态类型、语序、语系)为条件的多语言语音翻译前端,而非仅依赖语言标签。在 CVSS-C 上,它以仅 228M 可训练参数在法语、德语、西班牙语到英语三个方向上平均超越 SOTA 语音到语音翻译系统,并在七语言测试中每个语言都优于身份条件的 S2ST-Omni。
研究者提出一套合成数据生成流程,用于长上下文音频推理的训练与评测,并以首诊医患对话生成 SOAP 病历为任务实例化。该流程完全基于开放权重模型,包含人设驱动对话生成、带重叠/停顿建模与房间声学及声音事件的多说话人音频合成、LLM 生成参考 SOAP 病历三个阶段,已发布 8,800 段合成对话、1.3k 小时音频及参考病历。
JAL-Turn 是一个轻量级纯语音轮次切换检测框架,通过交叉注意力模块自适应融合预训练声学与语言表征,实现低延迟的 hold/shift 预测。它共享冻结的 ASR 编码器,使轮次预测与语音识别完全并行,几乎不增加端到端延迟。在 Easy-Turn、Smart-Turn 及内部日语客服数据集上,JAL-Turn 检测准确率媲美强基线,同时保持更优的实时性能。
CodecFlow 是一个基于神经编解码器的语音带宽扩展(BWE)框架,在紧凑潜空间中完成高效语音重建,通过连续编解码器嵌入上的浊音感知条件流转换器和结构约束残差向量量化器提升潜空间对齐稳定性。端到端优化后,该框架在 8 kHz 到 16 kHz 及 44.1 kHz 语音 BWE 任务上实现了较强的频谱保真度和更优的感知质量。
两项研究测试了虚拟角色使用熟悉人物的克隆声音时人格印象是否会迁移,结果显示人格迁移证据有限,效应具有选择性且无法跨特质或研究情境泛化。在线研究中,可识别的语音身份线索激活了说话者预期,但未能重建更完整的人物印象,判断常受感知人工性和声音与外观匹配度影响。
研究者提出 AMemOps 基准,用于评估长音频流中的最新属性检索、未变属性保持与缺失来源拒绝。在测试乐器的其他录音上训练,可使参考 delta-rule 记忆相对匹配注意力机制的更新优势提升 13.4 个百分点;在 120 秒检索延迟下,匹配历史可区分一致重复的收益与早期冲突值的代价,加性记忆对照则识别出擦除的收益。
研究者提出 PhysicsSliders(PXS),基于 15 个材质、几何与接触参数在模拟接触音上训练,可控制硬度、尺寸、速度与阻尼并支持房间描述。两个独立训练变体分别接受直接参数输入或数值化描述文本,在固定目标下生成频谱可区分的输出。
研究团队提出 SonicWorld,将物理、学习到的声学与语义特征整合为持久声源状态,并投影到 Omni LLM 进行空间推理。配套发布 Sonic-Bench,含 2.8K 一阶 Ambisonics 片段与 28.8K 目标问答对,覆盖 480 个模拟室内场景。
研究者提出 Dialogue-to-Duplex(D2)框架,可将预训练半双工语音语言模型(HD-SLM)以细粒度时序转换为高能力全双工模型(FD-SLM),通过无解码器表征蒸馏适配流式音频编码器,并用监督微调学习全双工交互。
研究者提出 UA-Bench,据称首个面向大型音频语言模型(LALMs)的水下声学信号识别大规模基准,包含 375,051 条音频记录,覆盖探测脉冲、通信波形与舰船辐射噪声三类信号,并附三级标签体系(13 个叶类)、多轮对话模板及信源信道元数据。
研究者提出一种无监督漂移监控器,基于已部署检测器的内部嵌入向量,用正则化 Mahalanobis 距离将输入与真实和伪造参考对比,划分可信、模糊与新颖区域,从而把陌生输入转交人工复核。
研究者提出统一音频深伪检测框架,结合自适应音频特征集成(AAFI)模块与 Mel-Band 对抗扰动(Mel-BAP)策略,在 ADD 2022、FakeOrReal 和 In-the-Wild 上基于 Whisper-small 实现 1.51% 的平均 EER。
RespFocus 是一个基于多实例学习(MIL)的弱监督框架,从周期级标签中学习可检验的时间声学证据并融入分类,在公开 ICBHI 2017 上取得四分类 Score 69.55%,在新建的多中心儿科呼吸音队列 PedResp2026 上取得 72.91%。PedResp2026 采集自常规临床环境,带有经裁定的周期级标注。证据诊断与匹配的时间干预实验支持所学证据对模型预测的功能性贡献。
BridgeCodec 通过将跨编解码器转换建模为 Schrödinger Bridge 最优传输问题,解耦了冻结的编码器-解码器对,并集成 Mamba 增强的 U-Net 架构捕捉长程语音时序依赖。在 1 kbps 超低比特率下,该框架将 8 kHz 轻量源编码器直接映射到 48 kHz 目标解码器,实现了优异的宽带重建和感知质量。该工作已被 Interspeech 2026 接收。
Gugak-VocalSet 是首个公开的韩国传统歌唱音频数据集,包含 24.5 小时无伴奏独唱录音、305 首曲目、20 位专业歌手,并提供约 68,000 个 sigimsae 标注片段(含多标签共 71,700 个实例)。
GAMW 是一种集成到 TTS 生成过程中的水印注入框架,在波形合成前将内容自适应的多比特水印残差嵌入生成表示,解码目标结合 focal modulation 与动态逐比特加权。在两个 TTS 主干上分别训练评估,16-bit 载荷下,面对单一与复合扰动,其解码准确率较最强基线分别提升 9.2 和 23.5 个百分点,同时保持有竞争力的语音质量,更高载荷下仍能可靠解码干净语音。代码已开源。
研究者提出 oracle 引导微调方法,将 ASR 的 N-best 候选列表构建为三类监督数据——纠错池(正确答案在列表中但非 top-1)教模型选择、正则化池(top-1 已正确)抑制多余改写、困难负样本池(答案不在列表中)抑制幻觉,从而学习"选择或重写"的混合策略。
研究者构建了覆盖英语和九种印度语言的跨语言 TTS 评测基准,并提出一种语言感知的推理时时长估计策略,无需重训练或改动架构即可将语言特定的每字符时长统计引入无对齐 TTS。在双语和多语 A-DMA 模型上的实验显示,语音自然度、可懂度和说话人相似度均有提升,同时时长失配减少。数据集与代码配方已公开。
研究团队提出 Audio8-TTS,一个 0.6B 参数的紧凑零样本语音克隆模型,在可懂度和说话人相似度上达到 SOTA,感知自然度尤为突出。
AlignAudio 是一个基于双重对齐的噪声鲁棒语音条件生成框架,通过对齐干净与含噪语音的表示保留语义线索,并在 flow matching 范式内强化生成级一致性。在语音到音频(STA)和语音转换(VC)任务上,它在干净语音下性能与基线相当,在多种噪声条件下显著优于基线。该双对齐策略适用于单流与多流语音条件,并可集成到不同的 flow matching 生成框架与后训练设置中。
研究提出 AphaVoice,一个专门合成高度逼真失语症语音的 TTS 框架,用于缓解语言治疗临床资源不足下的医护人员培训难题。与当前最先进 TTS 系统相比,AphaVoice 在时间指标上更能捕捉失语症的不流畅临床特征,并持续保持说话人身份一致。该模型借助潜空间偏移(latent space shifting)支持多说话人生成而不牺牲语音真实感,论文已被 IEEE SLT 2026 接收。
RUBATO 是一种多流位置编码方法,为全双工语音模型的各条流分配独立时钟,实现流间完全解耦,使模型能在任意推理解码速度下零样本插值,训练仅需两种极端解码速度。
DuplexAct 是评估端到端全双工语音语言模型(FD-SLM)交互动作能力的基准,定义了涵盖 8 种交互动作、24 种交互条件的三级动作分类体系,并通过即时执行与后续跟进两个维度衡量动作是否成功。该基准包含 4,691 个测试实例,覆盖闲聊、会议、客服和访谈场景,其中 2,531 个来自真实对话录音。
Fish Audio Drama 3 是一个开源语音生成模型,基于 35B 参数的 MoE 主干、每个 token 激活 3B 参数,可将文本转为带表演指导的语音。
研究对比了零样本 Whisper、池化 LoRA 和分组 LoRA 在 Common Voice、LibriSpeech 和 VoxPopuli 上的表现,发现 LoRA 增益集中在困难的 Common Voice 分组,在 VoxPopuli 上表现一致,但在低错误率的 LibriSpeech 上基本消失。