被撤回的 arXiv 论文：Adaptive Duration Model for Text Speech Alignment
一篇题为 Adaptive Duration Model for Text Speech Alignment 的 arXiv 论文已被作者 Junjie Cao 撤回，撤回理由为工作不完整、质量不佳且已过时。
#语音
arXiv cs.AIAI 评分88 arXiv cs.CLAI 评分2222 多模态情感识别系统：融合面部表情、肢体动作、语音与口语文本
一个融合面部表情、语音、转录文本与肢体动作的多模态情感识别系统在52名参与者的远程用户研究中达到96.43%的准确率，显著高于任一单模态组件（p < 10⁻⁴），且各情绪状态识别率均不低于92.31%。相比之下，单模态模型在真实条件下准确率降至82.97%–87.64%，部分情绪状态识别率低至48.08%，表明基准测试的高性能难以迁移到实际使用场景。
arXiv cs.CLAI 评分2020 利用语音基础模型的语言选择性维度进行语码转换检测
研究者提出一种直接从语音中检测语码转换（CS）的轻量方法，利用预训练语音编码器帧级的语言选择性隐藏状态维度，聚合激活值来预测一句话中是否同时出现两种语言。在 CS-FLEURS 的 14 个语言对上，Whisper-small 编码器取得平均 F1 0.798，高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。
arXiv cs.CLAI 评分2727 脑到语言解码综述：任务、信号、方法、评估与实际应用
一篇综述系统梳理了脑到语言解码研究，将神经活动转化为语言或表达输出，涵盖侵入式与非侵入式测量，检索无年份下限、来源更新至 2026 年 9 月。文章把 Articulated、Inner、Perceived 三类任务与其涉及的神经元群体、解码器可用表征及输出对应起来，并比较已发表性能与通信成本。
arXiv cs.AIAI 评分2020 CF-AVSS：面向真实世界 AVSE 挑战赛的由粗到细音视频语音分离框架
CF-AVSS 是一个由粗到细的两阶段音视频语音分离框架，第一阶段用扩展至双同步视觉流的 SPAV-TFGridNet 生成视觉排序的粗估计，第二阶段用基于 TFGridNet 的目标说话人细化网络结合原始混合信号进一步提升质量，最后经开发集校准的融合输出。
arXiv cs.AIAI 评分3535 Qwen-Audio-Jev：面向音频决策的统一接口
阿里 Qwen 团队提出 Qwen-Audio-Jev，在 Qwen-Audio-3.1-ASR-Flash-Next 上增加专用 Jev 决策头，用 CHOICE、NOUL、SCORE 三种决策原语统一音频选择、二分类判断与打分，直接输出任务条件概率分布或数值分数。
arXiv cs.AIAI 评分1818 基于信息瓶颈的层次化可解释多任务音频表示学习：事件-场景关系分析
研究提出层次化（顺序）条件范式，直接从中间事件概率预测声学场景类别，在 PaSST、PANNs 和 BEATs 三个骨干网络上完成 66 次完整训练实验。结果显示，该架构在 beta 为 0.6-0.9 时实现双任务同步学习，并系统性地产生更低条件熵、更高互信息与更优潜聚类可分性。
arXiv cs.CLAI 评分2626 文本就够了？文本作为语音 LLM 的通用信息瓶颈
研究者提出 Convex Gate（C-Gate），将语音每一帧表示为冻结 token 嵌入的凸组合，用 Whisper-large-v3 编码器加部分适配的 Qwen2.5-7B-Instruct 解码器联合训练语音识别、情感识别与口语推理，单一共享解码器即可完成转录与情感识别。适配后解码器在纯文本基准上指令跟随与 MMLU 下降，GSM8K 与 HellaSwag 持平或超过原模型。
arXiv cs.AIAI 评分3131 ELLSA 2：语音、表情与手势的全双工交互模型
ELLSA 2 是一个端到端全双工对话模型，可同时优化语音交互与流式手势-表情生成，在模型不说话时也能持续生成非语言动作。它采用自回归分块合成器，结合预训练声学特征与对话骨干网络、语音合成器中独立的聆听和说话隐藏状态，并通过上下文语义调用与模板引导区分语义手势的触发与实现。
arXiv cs.AIAI 评分2020 PACC：将朗读语音转换为自然对话语音
研究提出 PACC（Prosodic Adjustment with Conversational Context）方法，通过深度神经网络调整语调、重音和节奏等韵律特征，并采用 HiFi-GAN 进行语音合成，将朗读语音转换为自然对话语音。实验显示该方法在自然度和模型准确率上均有提升，并在语音转换任务和 MOS 评测中建立新基准，可扩展至其他语音转换应用。
arXiv cs.CLAI 评分2525 基于 Amazon Alexa 的任务中心多模态学习用于认知障碍检测
一项被 GLOBECOM 2026 接收的研究提出无接触多模态筛查框架，利用 Amazon Alexa 结构化语音交互中采集的视频、音频和文本信号检测认知衰退。
arXiv cs.CLAI 评分2222 通过多教师蒸馏学习语音属性表示
研究提出一种多属性多教师蒸馏框架，用共享 SSL 骨干网络和属性专属分支，从四个冻结教师模型学习语义、说话人、语言和情感表示。在多语言语义检索、说话人验证、语言识别和语音情感识别任务上，该模型性能接近专用单任务学生模型，且仅需一个共享编码器。学习到的层聚合策略还揭示不同语音属性自然涌现于 SSL 编码器的不同深度。
arXiv cs.CLAI 评分2222 通过对抗训练与蒸馏方法缓解音频大语言模型的偏见
研究针对音频大语言模型（AuLLMs）的性别偏见，用对抗方法让模型"遗忘"性别感知，且在其他基准任务上性能不降。作者进一步蒸馏出性别无关模型，使其能感知性别但响应与教师模型一致，除非被显式触发。方法在三个 AuLLMs 上测试，性别遗忘部分结果令人满意，蒸馏部分仅部分满意。
arXiv cs.CLAI 评分1818 SITAR：面向自动语音识别评估的情境失真度量
研究者提出 SITAR，一种面向自动语音识别（ASR）的情境失真度量，通过有界递归公式将情境严重度与累积范围聚合为统一分数，并训练为轻量级 BERT 家族回归器，单次前向传播即可为参考-假设对打分，无需运行时高昂成本。验证涵盖宏观与微观层面的外在效度及评分器内在可靠性，显示 SITAR 能跟踪模型能力扩展并提供正交诊断价值。完整代码、模型权重与数据集将在内部评审后发布。
arXiv cs.CLAI 评分1818 基于 Transformer 的孟加拉语语音早期识别系统实现句子自动补全
一项研究提出集成系统，通过孟加拉语语音和文本分析检测痴呆症迹象，并在对话中提供句子自动补全支持。研究提取与认知衰退相关的声学特征，采用基于 Transformer 的模型将语音转写为文本，评估多种 ML 和 DL 模型，其中 LSTM 架构在建模语音和语言上下文模式方面表现突出。句子补全任务采用带注意力机制的 Bi-LSTM 序列学习模型，逐步补全对话中部分表达的孟加拉语句子。
arXiv cs.CLAI 评分3131 CoSTA：面向高效语音对话模型的压缩语音 token 适配
CoSTA 是一个兼容性保持的后处理框架，通过均值初始化词表扩展、发音适配和对话适配，将语音对话模型的生成与合成 token 空间解耦，同时保留原有语音 tokenizer 和解码器。在双语语音对话基准上，CoSTA 实现约 1.7 倍语音 token 生成速度提升，降低完整响应延迟并提高吞吐量，同时保持回复质量。实验还显示其具备跨架构迁移能力，并与低速率 tokenization 形成互补。
arXiv cs.CLAI 评分2525 PEDBench：语音模型能否检测音素错误？
研究者推出首个音素错误检测（PED）基准 PEDBench，涵盖儿童真实发音错误（N=334）、演员脚本化错误（N=1,188）和 phone-conditioned TTS 合成错误（N=1,083），全部标注经两名音素训练标注员核验。
arXiv cs.CLAI 评分2626 全双工语音语言模型的参考引导轮流说话风格迁移
研究者从全双工语音语言模型自身对话中提取出一个晚期层残差流方向——"主动性向量"，无需训练或标注即可读取并调控模型的说话决策，提前最多 800 ms 预判话轮起始。生成时缩放该向量可将语音占比从 6-12% 提升至 42-61%（不干预时为 21-30%），且跨对话、权重和语料保持一致。仅需一段简短参考录音即可将说话人的轮流说话风格迁移给模型，换用他人参考时 93-98% 的情况下匹配变差。
Hacker NewsAI 评分3232 科学家用合成录音教鸟类唱回消失的鸣唱
研究人员用计算机合成布宜诺斯艾利斯公园里棕颈歌鹀（rufous-collared sparrows）1960年代的手绘标注鸣唱，不到三个月就有当地个体开始模仿其中部分段落。
arXiv cs.AIAI 评分2222 CoReLoop：面向音频深度伪造检测的参数高效受控循环精炼方法
CoReLoop 通过循环专属 LoRA 与轻量模块实现受控循环精炼，让已训练的 SSL 音频深度伪造检测器在不新增数据、不更新原参数的情况下提升泛化能力。在 14 个测试集上，24 层模型两轮精炼将 EER 从 4.85% 降至 3.74%，仅训练 598M 参数中的约 11M。可选 halting head 按语句选择精炼深度，以平均 1.18 轮达到 3.73% EER。
arXiv cs.AIAI 评分2626 AudioChaps：用 GRPO 与 CoT 对齐 LALM 实现音频章节化
AudioChaps 是一个通过 GRPO 结合 CoT 推理对端到端 LALM 进行后训练对齐的框架，用于将连续音频流切分为主题连贯的章节。不做 SFT 冷启动直接应用 GRPO 的 AudioChaps-R1-Zero 平均 F1 比 SOTA 的 Audio-Flamingo-3-Think 提升 33 分，最终对齐模型 AudioChaps-R1 提升 49 分。
arXiv cs.AIAI 评分2222 基于音系激活映射的语音音素分割与识别
研究者提出 SPAM（基于自监督语音模型的音系激活映射），将 S3M 每帧表示映射为清浊、鼻音等音系特征激活向量，并在其上添加识别头和分割头两个轻量、无需梯度下降的预测头。该方法仅需不到一分钟的音素转写数据，识别头可泛化到训练中未见过的音素，在多个数据集上取得强分割性能。该工作已被 SLT 2026 接收。
arXiv cs.AIAI 评分2222 Auto-AEG：面向开放词汇音频事件定位的可扩展数据构建方案
Auto-AEG 通过程序合成带精确时间区间的音频片段做冷启动监督，再用多模型伪标签在真实音频上提供强化学习奖励信号，构建开放词汇音频事件定位所需的 onset/offset 监督数据。该流程在独立的分层难度基准 AEGBench 上带来大幅时间定位提升，并泛化到多个留出的 SED 与音频定位基准，其标注已开源。
arXiv cs.AIAI 评分3232 RAIL：基于 CHC 框架重新审视大型音频语言模型的听觉智能评测
研究者提出 RAIL——一个基于 Cattell-Horn-Carroll（CHC）框架、以人为中心的听觉智能基准，将听觉认知形式化为五项核心能力并构建结构化评测任务。
arXiv cs.AIAI 评分2222 TypoCast：用类型学条件替代语言标签的多语言语音翻译前端
TypoCast 是一个以源语言类型学特征（形态类型、语序、语系）为条件的多语言语音翻译前端，而非仅依赖语言标签。在 CVSS-C 上，它以仅 228M 可训练参数在法语、德语、西班牙语到英语三个方向上平均超越 SOTA 语音到语音翻译系统，并在七语言测试中每个语言都优于身份条件的 S2ST-Omni。
arXiv cs.AIAI 评分2727 面向长音频摘要的合成医患对话数据集发布
研究者提出一套合成数据生成流程，用于长上下文音频推理的训练与评测，并以首诊医患对话生成 SOAP 病历为任务实例化。该流程完全基于开放权重模型，包含人设驱动对话生成、带重叠/停顿建模与房间声学及声音事件的多说话人音频合成、LLM 生成参考 SOAP 病历三个阶段，已发布 8,800 段合成对话、1.3k 小时音频及参考病历。
arXiv cs.AIAI 评分2424 JAL-Turn：面向全双工语音对话系统的实时鲁棒轮次切换检测联合声学-语言建模
JAL-Turn 是一个轻量级纯语音轮次切换检测框架，通过交叉注意力模块自适应融合预训练声学与语言表征，实现低延迟的 hold/shift 预测。它共享冻结的 ASR 编码器，使轮次预测与语音识别完全并行，几乎不增加端到端延迟。在 Easy-Turn、Smart-Turn 及内部日语客服数据集上，JAL-Turn 检测准确率媲美强基线，同时保持更优的实时性能。
arXiv cs.AIAI 评分2222 CodecFlow：在神经编解码器潜空间用条件流匹配实现高效带宽扩展
CodecFlow 是一个基于神经编解码器的语音带宽扩展（BWE）框架，在紧凑潜空间中完成高效语音重建，通过连续编解码器嵌入上的浊音感知条件流转换器和结构约束残差向量量化器提升潜空间对齐稳定性。端到端优化后，该框架在 8 kHz 到 16 kHz 及 44.1 kHz 语音 BWE 任务上实现了较强的频谱保真度和更优的感知质量。
arXiv cs.AIAI 评分2222 已知声音克隆与角色设计中人格迁移的局限
两项研究测试了虚拟角色使用熟悉人物的克隆声音时人格印象是否会迁移，结果显示人格迁移证据有限，效应具有选择性且无法跨特质或研究情境泛化。在线研究中，可识别的语音身份线索激活了说话者预期，但未能重建更完整的人物印象，判断常受感知人工性和声音与外观匹配度影响。
arXiv cs.AIAI 评分2222 AMemOps：评估长音频流中的记忆更新
研究者提出 AMemOps 基准，用于评估长音频流中的最新属性检索、未变属性保持与缺失来源拒绝。在测试乐器的其他录音上训练，可使参考 delta-rule 记忆相对匹配注意力机制的更新优势提升 13.4 个百分点；在 120 秒检索延迟下，匹配历史可区分一致重复的收益与早期冲突值的代价，加性记忆对照则识别出擦除的收益。
arXiv cs.AIAI 评分2525 PhysicsSliders：为音频拟音生成学习物理控制
研究者提出 PhysicsSliders（PXS），基于 15 个材质、几何与接触参数在模拟接触音上训练，可控制硬度、尺寸、速度与阻尼并支持房间描述。两个独立训练变体分别接受直接参数输入或数值化描述文本，在固定目标下生成频谱可区分的输出。
arXiv cs.AIAI 评分2222 SonicWorld：面向空间音频推理的以声源为中心的潜在动态模型
研究团队提出 SonicWorld，将物理、学习到的声学与语义特征整合为持久声源状态，并投影到 Omni LLM 进行空间推理。配套发布 Sonic-Bench，含 2.8K 一阶 Ambisonics 片段与 28.8K 目标问答对，覆盖 480 个模拟室内场景。
arXiv cs.AIAI 评分4444 D2：从半双工骨干模型构建高能力全双工语音语言模型
研究者提出 Dialogue-to-Duplex（D2）框架，可将预训练半双工语音语言模型（HD-SLM）以细粒度时序转换为高能力全双工模型（FD-SLM），通过无解码器表征蒸馏适配流式音频编码器，并用监督微调学习全双工交互。
arXiv cs.AIAI 评分2424 UA-Bench：面向水下声学信号识别的大型音频语言模型基准测试
研究者提出 UA-Bench，据称首个面向大型音频语言模型（LALMs）的水下声学信号识别大规模基准，包含 375,051 条音频记录，覆盖探测脉冲、通信波形与舰船辐射噪声三类信号，并附三级标签体系（13 个叶类）、多轮对话模板及信源信道元数据。
arXiv cs.AIAI 评分2323 面向已部署深度伪造语音检测器的无监督数据漂移监控
研究者提出一种无监督漂移监控器，基于已部署检测器的内部嵌入向量，用正则化 Mahalanobis 距离将输入与真实和伪造参考对比，划分可信、模糊与新颖区域，从而把陌生输入转交人工复核。
arXiv cs.AIAI 评分2424 自适应压缩与定向扰动：面向泛化音频深伪检测的统一框架
研究者提出统一音频深伪检测框架，结合自适应音频特征集成（AAFI）模块与 Mel-Band 对抗扰动（Mel-BAP）策略，在 ADD 2022、FakeOrReal 和 In-the-Wild 上基于 Whisper-small 实现 1.51% 的平均 EER。
arXiv cs.AIAI 评分2222 RespFocus：用多实例学习为弱监督呼吸音分类提供可检验的时间证据
RespFocus 是一个基于多实例学习（MIL）的弱监督框架，从周期级标签中学习可检验的时间声学证据并融入分类，在公开 ICBHI 2017 上取得四分类 Score 69.55%，在新建的多中心儿科呼吸音队列 PedResp2026 上取得 72.91%。PedResp2026 采集自常规临床环境，带有经裁定的周期级标注。证据诊断与匹配的时间干预实验支持所学证据对模型预测的功能性贡献。
arXiv cs.AIAI 评分2222 BridgeCodec：Mamba 增强的 Schrödinger Bridge 神经音频编解码器，实现低比特率跨编解码器转换
BridgeCodec 通过将跨编解码器转换建模为 Schrödinger Bridge 最优传输问题，解耦了冻结的编码器-解码器对，并集成 Mamba 增强的 U-Net 架构捕捉长程语音时序依赖。在 1 kbps 超低比特率下，该框架将 8 kHz 轻量源编码器直接映射到 48 kHz 目标解码器，实现了优异的宽带重建和感知质量。该工作已被 Interspeech 2026 接收。
arXiv cs.AIAI 评分1818 Gugak-VocalSet：带 Sigimsae 标注的韩国传统歌唱多流派录音室级数据集
Gugak-VocalSet 是首个公开的韩国传统歌唱音频数据集，包含 24.5 小时无伴奏独唱录音、305 首曲目、20 位专业歌手，并提供约 68,000 个 sigimsae 标注片段（含多标签共 71,700 个实例）。
arXiv cs.AIAI 评分2727 GAMW：面向 TTS 溯源、注入生成过程的 Mel 域水印框架
GAMW 是一种集成到 TTS 生成过程中的水印注入框架，在波形合成前将内容自适应的多比特水印残差嵌入生成表示，解码目标结合 focal modulation 与动态逐比特加权。在两个 TTS 主干上分别训练评估，16-bit 载荷下，面对单一与复合扰动，其解码准确率较最强基线分别提升 9.2 和 23.5 个百分点，同时保持有竞争力的语音质量，更高载荷下仍能可靠解码干净语音。代码已开源。