InterCorrect:面向公平 ASR 的交叉感知人口统计模型合并校正
InterCorrect 针对 Speech-LLM 公平 ASR 中多重人口统计群体交叉的误差难题,提出交叉感知的模型合并校正方法。该方法基于 SLAM-ASR 模型,仅微调 connector 得到各子群适配版本后合并为全局模型,并利用子群 WER 与 task-vector 冲突定位关键跨轴人口统计组合,再施加交叉特定的校正。
InterCorrect 针对 Speech-LLM 公平 ASR 中多重人口统计群体交叉的误差难题,提出交叉感知的模型合并校正方法。该方法基于 SLAM-ASR 模型,仅微调 connector 得到各子群适配版本后合并为全局模型,并利用子群 WER 与 task-vector 冲突定位关键跨轴人口统计组合,再施加交叉特定的校正。
基于 Amazon Bedrock AgentCore、Amazon Nova Sonic 实时语音和 Amazon Bedrock Knowledge Bases,可在航司 App 中加入语音旅行助手,让旅客用语音改座位、查延误并咨询政策问题。该智能体通过 MCP 工具访问后端,并在写入前确认每一次变更。
在 MEG-MASC 和 MOUS 的语音检索任务中,上下文先验通过加性浅融合重塑候选得分,而置信度取自同一批被重塑的得分,导致先验遗留的错误可能变得更自信却不改变准确率。研究发现初始错误预测中存在置信度排序反转:更大的 top-two margin 反而使修复更可能发生。
Amazon Echo 智能音箱上的 Alexa Plus 出现诡异 bug,会连续数分钟反复说唱“lalala”,有时还发生在与用户对话中途。多名用户在 Reddit 上报告该问题,涉及多款 Echo 音箱,最近一次报告在三天前。被问及此事时,Alexa 似乎完全不知道自己在做什么。
针对全双工语音对话模型常被单侧评估(预录音频或只出题不被评分的自动考官)的问题,研究者提出 DyaFDB 成对评估框架,将轮流发言、重叠与打断视为两个耦合说话者的共同产物。原文指出这类单侧框架只评估了双体问题的一半。
研究评估了声学导向与内容导向两类攻击者 ASV 系统在多语言匿名语音上的表现,并构建多语言语音转换数据集以提升跨语言泛化能力。此前攻击者 ASV 研究主要基于英语,多语言场景下的行为基本未被探索。
针对 Speech-LLM 仅在 ASR 指令上训练后无法泛化到语音翻译等新指令的提示词过拟合问题,研究者提出端到端框架 DirectSpeech2LLM。该方法在冻结的 LLM 嵌入矩阵上计算基于距离的 CTC 损失,并用贪心 CTC 标签生成几何与时间对齐的语音嵌入作为 LLM 输入,从而在语音条件下保留模型对未见任务的指令跟随能力。
HINTT 团队向第二届 MLC-SLM 挑战赛提交了面向多语言说话人归属 ASR 的系统,对比了两种建模策略:结合说话人分离与语音 LLM ASR 的级联流水线,以及直接生成说话人标签、时间戳和转写文本的统一语音 LLM。最终提交基于级联流水线,由微调后的 DiariZen 说话人分离模块构成。
研究提出"工具锚定"的 LLM 评委方法,在三个德语模拟咨询语料(两个全科医疗、一个学校家长会,共 195 段专家评分会话)上做跨域迁移,留一域迁移的嵌套 Spearman ρ 达 0.54,高于目标域内训练的 ≤0.48。该方法用于预测专家的整体印象评分,缓解专家标注语料稀缺且昂贵的瓶颈。
针对现有旋律引导歌词生成方法依赖符号化旋律、难以直接处理原始演唱音频的问题,研究者提出 ARIA——一个两阶段的音频驱动旋律-声调关系建模框架,可直接从演唱录音生成粤语歌词。该方法面向粤语歌词创作中字调与旋律音高需紧密对齐的需求,将音高隐含、含噪且非结构化的演唱音频纳入建模。
意大利总理梅洛尼于 10 月 5 日向欧盟知识产权局(EUIPO)提交申请,希望将自己的声音注册为商标以防范 AI 深度伪造,其办公室已证实该申请。申请材料附带一段 4 秒录音,她用意大利语重复说了两遍“我是焦尔吉娅·梅洛尼”。
PERSIST 是一个面向多会话、多说话人语音对话的持久记忆系统,显式建模 Who、What、When 三要素,让语音助手能识别当前说话人、找回相关历史状态并区分后续修改。该系统针对全双工语音对话场景,解决的不只是检索主题相似段落,而是回答“我原本计划什么时候出发”这类跨会话问题,并依据过往交互适配不同用户。
意大利总理 Giorgia Meloni 向欧盟知识产权局申请为其声音注册商标,申请材料包含她说 Io sono Giorgia Meloni 的录音。此举目的是在意大利选举前遏制 AI 深度伪造。
研究提出一种提示词相对激活引导机制,无需重新训练即可引导 TTS 模型生成更清晰的语音,其灵感来自人类在噪声中自然调整发声的 Lombard 效应,聚焦提高发声力度与超清晰发音两个特征。该机制可防止引导效果在生成过程中累积,并支持动态调整强度,在已见与未见说话人上均进行了验证。
针对句子重音检测(SSD)与词重音检测(WSD)此前多被当作独立任务、忽视二者共享音高、时长、强度等韵律线索的问题,研究者提出一种将 SSD 与辅助 WSD 结合的新型建模方法,并配合损失优化。该框架面向自动发音评估(APA)场景,同时覆盖句子层面语义显著词识别与词内主重音音节定位。
Amazon 推出 Nova 2.5 Sonic 语音到语音模型,面向语音智能体场景。该模型可直接完成语音输入到语音输出的转换,省去传统语音识别加文本转语音的中间环节。目前该消息来自 Hacker News,具体参数、可用性与定价尚未披露。
ElevenLabs 的 Eleven v4 Turbo 在 Artificial Analysis 语音 TTS Arena 榜单中以 Elo 1334 位列 Provider Voice 第一。
一套完全离线的语音到语音翻译流水线可在 Jetson Nano(4 GB)上运行,无需重训练即可自我修正弱翻译。系统由 Whisper-tiny ASR 驱动 Opus-MT 翻译器,以多语言 BERT 余弦相似度作为质量估计(QE)门控,当置信度低于阈值 τ 时触发二次修正。
tvOS 27.2 Beta 3 代码显示,Apple TV 4K(第四代)将支持 Siri AI 与 Apple Intelligence。系统设置新增"改进 Siri 与 Apple Intelligence"开关,可授权苹果收集 Siri、听写及翻译的文本和音频数据用于改进基础模型。
Jarvis 是一个实时主动式语音智能体,能实际发声参与多人对话,而非只在被叫到时才回应。它基于事先共享的文档跟踪讨论,当群体遗漏或说错事实且数轮内未自行纠正时才会介入。
Google 的 Gemini "Call for Me" 功能可能从商务通话扩展到亲友通话。Android Authority 在 APK 拆包中发现 "Gemini Calling" 引导页,示例包括"打电话给妈妈说我晚到 15 分钟"和"打电话给 John 问他是否来吃晚饭"。即便扩展,Gemini 预计仍限于类似短信的基础通话,无法自动完成整段亲友寒暄。
Codex CLI 支持在终端通过语音启动任务、跨项目管理智能体,并可在独立 worktree 中探索另一个方向。
一项针对印度卡纳塔克邦 305 名以 Kannada 语为母语、就读英语授课院校的本科生的实地研究,对比了书面作答与基于文本、语音的 AI 对话活动对学生学习和参与度的影响。研究考察了活动形式、交互模态与语言三个因素,探讨对话式 AI 能否在 LLM 普及背景下重新设计学习活动,以及多语言能力是否让非母语学习者更易参与。
AccentCL 是一个面向英语口音分类的类增量学习框架,可对新出现的口音类别进行增量扩展,并抵御类别不平衡与跨语料库域偏移。它从冻结的 Whisper-Large-v3 编码器提取多层表征,并采用感知不平衡的交叉熵损失进行优化。
研究者推出 Logbook,一个面向小时级音频理解的基准,录音时长从 10 分钟到 6 天,要求系统在给定连续录音和事件标签词表后,输出无间隙分段并为每段给出事件标签与描述。研究对比了 52 个端到端与级联系统,并消融了微调、上下文长度和推理预算,发现该任务可解,但最佳系统仍有不足。
Suno 上线 Albums 功能,支持用户将音乐作品整理为完整专辑项目。官方编辑团队推荐了首批 5 张专辑,包括 Oakwood///diskrot 的《naenia》。
Suno 上线专辑功能,并公布首批在 Suno 发布专辑的艺术家。Suno 称专辑是艺术家身份的表达,此前在平台上一直缺席。
Paradee 通过蒸馏 Kokoro-82M 得到一个 8.07M 参数的单音色文本转语音模型,参数量减少 10 倍、所需算力减少 15 倍。它保留 Kokoro 架构但层宽大幅收窄,两半分别针对冻结的教师模型独立训练:先由教师合成语料并保留其时长、音高、能量和音素特征,再训练小型文本侧预测这些值,以及小型解码器将教师保存的值还原为教师音频。
Suno 上线专辑(Albums)功能,用户可将歌曲整合成完整专辑,设置封面、编排曲目列表并发布。已有播放列表可直接转换为专辑,无需从零重建。
COMPASS 2.0 引入心理测量表征相似性分析框架,用于比较语音得分、自评、条目措辞与理论的结构,并同时实现个体层面的构念评分。研究显示,措辞相似的条目会产生协方差却无心理信号;在 275 名参与者临床访谈的预注册发现与验证分析中,语言衍生的……
现有 ASR 模型主要用美式英语语音数据训练,对苏格兰、爱尔兰和威尔士等英国地方口音识别不佳,错误会传导至 LLM 阶段,导致工具调用参数出错、响应错误或缺失,在金融场景代价尤高。为此研究者提出 CavaBench,首个针对该问题的基准。可部署的 ASR 还需满足严格的延迟与内存预算,使口音鲁棒模型的选择更加困难。
研究基于 RVG1 数据集(500 名德国说话人、九个地区),比较十种语音表征在地区分类与连续地理定位上的表现。Whisper 在匹配条件下最佳,九分类 UAR 达 0.489、地理定位中位误差 148 km,但朗读—即兴跨域迁移时 UAR 降至 0.11/0.18、误差升至 363 km。
Parakeetogo 是一个将模型嵌入其中的单文件 ASR 二进制,基于 Moondream 的 parakeet-redux 模型并改用 Highway SIMD 运行,在 CPU 上比 Photon/torch 更快,转录质量几乎相同。作者为在性能较弱的服务器上部署转录功能而开发,基准测试结果已放在仓库中。
一项系统基准测试用 18 项客观指标评测了 Chatterbox、CosyVoice、OmniVoice 和 VoxCPM2 四款现代 TTS 系统在土耳其语上的表现,覆盖微调与零样本两种配置,并与传统 VITS 基线及自然语音对照。研究聚焦形态丰富、低资源语言场景下这些系统尚未被充分刻画的行为。
阿里千问 AI 耳夹式耳机已在电商平台上架并开启预约,价格暂未公布。耳机由 Bose 调音,提供深空蓝、星光色、极光紫三色,续航 9 小时、配合充电仓 40 小时,支持 LHDC 5.0 与 Hi-Res Wireless 金标认证。AI 功能支持语音操控千问全场景功能、录音实时转写、92 语种转写纪要和 89 种语言翻译。
倍思 MC2 NC 降噪耳夹耳机已在京东发售,定价 783 元,部分地区国补后低至 598 元。该耳机内置 12mm 碳纤维三磁路动圈,支持 LDAC 与 Hi-Res Wireless 认证,结合 ANC 芯片实现 -50dB 降噪深度,关闭降噪搭配充电盒续航至高 60 小时。产品还接入豆包、通义千问及 DeepSeek 模型,提供 AI 录音转写、实时助答与同声传译功能。
UltraDub 是一个统一视觉引导流学习与轨迹引导的配音框架,将视觉同时用作多模态上下文聚合的连续运动信号和轨迹修正的结构节奏。该框架针对顺序多模态条件破坏时序与说话人线索、以及推理引导不平衡导致唇形同步受损的问题提出解决方案。
圆刚(AVerMedia)推出面向工业应用的 AIClear Mic (A113) 麦克风,工作温度范围 -25℃ 至 +60℃,存放温度 -40℃ 至 +85℃。该产品支持 AI 降噪,可为边缘应用清除环境噪声,使语音识别准确率提升 60% 以上,并提升声纹认证场景的身份验证准确性。A113 支持免驱动即插即用、USB-C 一线连,并提供一对 3.5mm 音频插孔。
研究者提出 Relational Synthesis,一种结构中介的拼接合成方法,可在给定检索源音频 S 与参考音频 R 的情况下合成新音频 Y,使其在声学上与 S 保持一致,同时不持续复制 S 或 R 的片段。该方法针对 Foley 音效制作与神经 RAG 中朴素注入 S、R 导致复制片段的问题,将拼接合成的目标代价替换为结构中介机制。
这篇论文给出首个僧伽罗语 ASR 研究的批判性综述,梳理了从 HMM 到深度神经网络再到 wav2vec 2.0、XLS-R、Whisper 等自监督预训练模型的发展脉络。僧伽罗语约有 1600 万使用者,其黏着形态、54 音素音系、SOV 语序和稀缺标注语音数据,共同制约了传统与现代 ASR 系统。