跳到正文
10月9日周五
  1. GitHub22

    callinsights:AI 销售通话监控工具(Beta)

    callinsights 是一款 AI 销售通话监控工具,处于 Beta 阶段,可为每通对话提供自动评分、辅导洞察与分析。项目支持 docker compose 一键启动,也可在 GitHub Codespaces 中免本地配置运行,登录账号为 admin@clusterx.local。本地开发可用 SQLite,测试通过 pytest 与 ruff 执行,采用 MIT 许可证。

  2. GitHub23

    Memory Loop:把 YouTube 视频和文档变成 AI 播客、摘要与闪卡的学习应用

    Memory Loop 是一个可安装的 PWA 学习应用,能把 YouTube 视频或 PDF/DOCX 文档转成 AI 生成的简短回顾播客、文字摘要和用于主动回忆与间隔重复的闪卡。它支持后台生成回顾并在完成后通知,提供带统计与复习排期的闪卡系统、邮箱密码与 Google OAuth 账户、积分与订阅付费墙,以及完整英文和俄文界面。目前托管部署已下线,需按文档在本地运行,应用本身不依赖托管实例。

  3. RadarAI24

    极米 AI 显示眼镜 MemoMind One 开启超前预约:蔡司定制镜片、哈曼联合调音

    极米 10 月 9 日宣布 AI 显示眼镜 MemoMind One 超前预约正式开启,搭载蔡司显示系列翎思镜片与哈曼联合调音,采用无摄像头隐私保护设计并通过欧盟 EN18031 认证。该产品支持 Memo 记忆、双目显示与 Harman Audio EFX,提供三种框型,综合续航 16 小时,搭载 Apple MFi 芯片,支持对话、翻译、演讲、录音功能。

  4. GitHub22

    Terry 本地语音助手:macOS 安装与使用指南

    Terry 是一款面向 macOS 的本地语音助手,支持 macOS 10.14 及以上版本,需至少 4 GB RAM 和 500 MB 可用磁盘空间,可在 Apple Silicon 与 Intel Mac 上运行。它提供直观的语音管线、本地 AI 处理、20 多项可自定义操作、摄像头视觉集成和 Web UI,用户可通过 Releases 页面下载安装。

  5. RadarAI47

    X.PIN 独家:Apple HomeHub 的 homeOS 早已完成,发布只因 LLM 让 Siri 变好

    X.PIN 援引知情人士称,Apple 新款 HomeHub 内置的 homeOS 系统多年前就已完成,真正拖延产品发布的是 Siri。由于 Siri 多年来表现不佳,Apple 智能家居硬件团队一直不愿签核这款以语音为核心交互的设备;直到 LLM 让 Siri 理解自然语音的能力明显提升,团队才认为时机成熟。HomeHub 将于 10 月 13 日与 LG 的智能家居合作一同发布。

  6. arXiv cs.CL23

    鸡尾酒会场景下的音视频轮次转换预测

    研究评估了在干净数据上训练的音视频预测轮次转换模型(PTTM)在基于 AVCocktail 数据集构建的鸡尾酒会测试平台上的表现,发现噪声条件下音频和视觉模态性能一致下降,加权 F1 最多相对下降 38%。在新领域上微调可提升鲁棒性,但增益因模态而异,并取决于可用预训练数据的规模。所有代码和轮次标注已公开。

  7. arXiv cs.CL12

    约鲁巴语轮廓声调标注:一项排版与计算方案

    针对约鲁巴语轮廓声调在正字法中难以标注、部分人名拼写甚至反转原意的问题,该论文提出采用 caron 和 circumflex 符号在单元音上编码升调和降调。这些符号自 Olmsted(1951)以来在约鲁巴语音系研究中已有先例,如今首次可通过标准键盘输入和计算文本处理实现。方案已在 WriteYoruba 键盘和 TTSYoruba 语音合成器中落地实现。

  8. arXiv cs.CL24

    FA-Bench:面向强制对齐与 ASR 的干净及噪声语音音素级与词级时间戳准确率基准

    FA-Bench 是一个统一评测强制对齐与 ASR 时间戳准确率的开放框架,固定了文本归一化、数据划分、音素映射与评分脚本,在干净及四种退化语音上覆盖 21 个开源模型和 9 个商业 API。它采用基于容差的 F1 作为主指标,消除了标准 MAE 在对话语音中造成的 9% 至 14% 分数虚高,并发现 Whisper 时间戳平均偏早约 150 ms,多个商业 ASR API 偏晚超过 50 ms。

  9. arXiv cs.CL27

    DiffuPlex:用滚动掩码扩散加速全双工语音对话模型

    DiffuPlex 是一个滚动掩码扩散框架,通过单次骨干唤醒预测多个未来用户与助手帧,减少全双工语音对话模型的逐帧自回归计算。其 DiffuPlex-LISTEN 与 DiffuPlex-SPEAK 两种推理策略分别实现 1.46× 和 1.59× 部署路径墙钟加速、1.61× 和 1.80× Core LM 加速,所有骨干调用均在 80ms 交互间隔内完成。

  10. arXiv cs.CL30

    SteerablePlex:全双工语音模型能否被有效引导?

    研究提出 SimIF-Bench 基准,评估对话模型能否在既定场景内按顺序完成多项目标,结果显示当前开源全双工模型难以遵循此类约束。团队进一步提出基于 GDPO 的训练方案,使全双工模型在保持轮次切换能力的同时遵循对话中的文本指令,所得模型 SteerablePlex 接入异步后端语言模型后,构建出比现有开源模型和 GPT-Realtime 更可靠遵循多阶段约束的可控用户模拟器。

  11. arXiv cs.CL22

    ICAP-Gate:为大音频语言模型提供机制引导的选择性听觉控制

    针对任务无关音频会干扰大音频语言模型文本推理的问题,研究者提出 ICAP-Gate,对每个模型架构特定的晚期音频通路施加机制引导、任务条件化的控制。在 4 个 LALM、2 个推理基准和 16 组全量评估中,ICAP-Gate 的影响率与答案翻转率点估计均低于无门控推理;固定抑制会损害全部 4 个模型的 ASR 表现,而 ICAP-Gate 在显式音频需求指令下可保持与无门控相当的 ASR 性能。

  12. arXiv cs.CL30

    CVAM:基于人类听众强化学习的对话语音美学模型

    研究者提出对话语音美学模型 CVAM,一个用于描述真实或合成语音回复美学特征的语音大语言模型,可预测涵盖性别、音高、节奏、情感与表达方式的九类属性。团队从 CANDOR 语料库收集 3k 条真实与合成回复、每条约 10 份人类标注,先监督微调再用 Group Relative Policy Optimization 基于人类判断优化。

  13. arXiv cs.CL25

    Prosody-to-Text:从低通滤波语音预测文本

    研究者提出"韵律到文本"任务,用仅保留 12 个最低 Mel 频段(约 450Hz 低通滤波)的语音微调 Whisper,从韵律模式中恢复原始句子,取得 WER 36% 的结果,10% 的语句被完全还原,40% 的语句 WER 不高于 25%。在给定正确前缀时,下一个 token 的预测准确率为 79%。结果表明低频语音特征与词汇内容的关联比此前认为的更强,或可用于引导现代 LLM 的文本生成。

  14. arXiv cs.CL17

    何时可以剪枝你的网络?多语言语音解析中中间神经元的研究

    研究提出一种更简单的端到端语音解析架构,移除中间神经网络单元后参数减少 12%,在 ASR 和解析任务上性能与先前方法相当或更优。实验表明,中间 NN 单元在预训练编码器冻结时有助于缩小表示差距。研究在法语及中低资源语言斯洛文尼亚语和 Naija 上进行了全面评估,并考察了训练数据规模和预训练语音编码器中间层的影响。

  15. arXiv cs.CL24

    多语言语音模型中的音系干扰问题研究

    研究者发现音素级语音模型存在系统性失败模式——音系干扰:模型默认输入为单一语言并强加其音系规则,覆盖与之冲突的局部音素决策。在语码转换输入上,两个语音转音素识别器和一个音素条件TTS模型丢失了32%至79%的跨语言特有音素。研究提出窗口化语言估计(WLE)推理时修复方法,在三个模型上消除了34%至69%的干扰,且识别器的单语性能基本不变。

  16. arXiv cs.CL22

    提示词 vs 规则:语音用户模拟器中语音自然度行为的审计与控制

    研究审计了基于 LLM 提示的 tau-Voice 与规则注入算法在语音用户模拟器中实现不流畅、打断和反馈三种自然度行为的效果。结果显示,提示词方式不可靠,生成的语音与指令不一致,位置和分布不如指令所暗示的自然;而基于规则、无需模型的算法能产生更可控、更多样且更贴近自然语音的行为。研究认为,未经用户模拟专门训练的 LLM 不足以单独代表真实用户行为,需要语言学驱动的确定性方法或专用模型来弥补差距。

  17. arXiv cs.AI24

    X2Streaming-ASR:不确定就等待,准备好就输出,实现低延迟流式 ASR

    X2Streaming-ASR 将流式语音识别拆解为"何时提交"与"提交什么",通过三阶段训练(先建立流式识别能力,再用自动探测轨迹热启动提交策略,最后用字符级、分段分配的分组相对奖励优化准确率与延迟)。在十个中英文测试集上,其平均提交延迟相对强制对齐端点最低,中文为 32–109ms、英文为 12–85ms,识别准确率与现有系统相当。

  18. GitHub48

    Utterlane:Android 离线语音转录应用

    Utterlane 是一款免费开源的 Android 离线语音输入与音频转录应用,语音识别在设备本地运行,无需账号或订阅。默认模型为 Moondream Parakeet Ultra(2026 年 9 月,约 670MB),慢速设备可用三元量化版 Moondream Parakeet Redux(约 160MB),并支持通过 CrispASR 导入自定义模型。

  19. Hacker News66

    Veda 发布以 AI 智能体为核心的语音操作系统

    Veda 发布一款以 AI 智能体为核心的操作系统,用户通过语音下达指令,智能体直接在内置应用中完成操作,而非读取屏幕或模拟点击。系统内置文本编辑器、照片、音乐、文件、任务管理器、终端等应用,共提供 70 多个动作,应用通过同一套代码响应智能体与鼠标键盘。

  20. GitHub12

    enton:基于视觉与语音的开源 AI 机器人助手

    GitHub 项目 enton 是一个自主 AI 机器人助手,结合计算机视觉、语音转文字、文字转语音和自然语言理解,可识别物体与人、听懂语音指令并语音回应,无需编程即可运行。其语音转文字采用 Whisper 开源模型,基于 Python 与 PyTorch 构建,支持 CUDA GPU 加速,需 Windows 10 及以上 64 位系统、8 GB 内存和至少 2 GB 磁盘空间。

  21. GitHub22

    ResuMate AI:7 个 AI 智能体驱动的全栈招聘平台

    ResuMate AI 是一个全栈多智能体招聘平台,由 7 个专用 AI 智能体编排从简历解析到实时视频面试的完整招聘流程,并可通过对话式 AI 助手 Jarvis 以语音或文字端到端操控。平台提供简历上传与 RAG 分析、候选人评分排名、GitHub 扫描与简历情报、AI 评估报告、面试安排及带面部追踪的 AI 虚拟形象视频面试,候选人端支持邮箱登录与个性化分析。

  22. GitHub62

    LiveKit 开源实时语音 Agent 框架 Agents

    LiveKit 开源 Agents 框架,用于在服务器上构建可编程的实时多模态语音智能体,支持自由组合 STT、LLM、TTS 与 Realtime API。框架内置任务调度与分发 API、WebRTC 客户端、电话接入、语义轮次检测和 MCP 原生支持,并提供测试框架与多智能体交接示例。