跳到正文
10月1日周四
  1. Hugging Face Daily Papers38

    Omni-Embed-Mini:通过稠密蒸馏绑定多模态且不遗忘

    Omni-Embed-Mini 是一个 0.9B 参数模型,可将文本、语音、音频、图像、视频和富视觉文档映射到同一共享余弦空间,且不更新任何文本侧参数。其做法是让每个媒体样本配一段稠密级联描述,以冻结骨干网络对该描述的嵌入作为教师目标,从而避免扩展新模态时文本检索质量下降。

  2. Hugging Face Daily Papers31

    OneStreamer:统一流式视频交互中的感知、记忆与主动响应

    OneStreamer 通过共享的主动生成过程,联合学习与查询无关的证据记录和任务响应,其 Proactive Hierarchical Caption Memory(PHCM)可生成带时间定位的局部细节描述与已完成事件的摘要。流式描述目标用于监督对已观测视频前缀的理解,从而在不牺牲实时感知的前提下形成可复用的事实记忆。

  3. Hugging Face Daily Papers31

    Spatial Memory Intelligence:为世界模型赋予理解驱动的长期记忆

    研究提出 Spatial Memory Intelligence,利用多模态大语言模型(MLLM)的空间推理能力,为世界模型构建理解驱动的长期记忆管理策略,以应对长视频生成中记忆序列变长、结构复杂带来的长程空间上下文管理难题。该工作面向交互式娱乐与具身仿真场景,目标是在用户动作与历史记忆条件下预测未来观测。

9月30日周三
  1. Hugging Face Daily Papers33

    Align Then Reason:面向配音的多模态唇形同步评判模型

    针对配音质检中无参考音频、仅凭静音视频与文本判断口型是否匹配的需求,研究者提出多模态唇形同步评判模型 Align Then Reason(ATR)。该模型先在帧级唇部动作与文本间建立单调对齐,再进行推理判断,支持多语言。现有视觉语音识别器与视频语言模型即使经过微调,仍对时间错位不敏感,难以胜任该任务。

  2. Hugging Face Daily Papers33

    Multimodal Flow:在嵌入空间统一建模语言与视觉的流模型

    Multimodal Flow 是一个完全连续的语言与视觉生成模型,在嵌入空间中以统一的连续架构完成多模态预训练,避免离散视觉 token 带来的量化瓶颈,也无需按模态区分目标函数与采样流程。现有统一多模态模型要么把语言和量化图像都当作离散 token,要么用离散语言预测搭配连续图像生成。

  3. Hugging Face Daily Papers30

    EgoTools:面向真实第一视角视频的工具中心推理

    针对现有多模态视频模型在工具使用推理上的不足,研究者提出 EgoTools,聚焦真实第一视角视频中以工具为中心的推理任务。该任务要求模型理解可供性、手-工具-物体几何关系、流程进展以及工具对目标物体的因果影响,而不仅是字幕生成和通用视频问答等感知类任务。

  4. Hugging Face Daily Papers31

    LEAP:面向长音视频感知的学习式分块证据检索

    LEAP 是一个让模型自行检索证据、无需将整段录像放入同一上下文的长音视频问答框架。它把录像切成固定时长分块,用轻量定位流程为每块内的候选短窗口打分,再将排名最高的窗口汇聚并在一次有界回答流程中重新编码,以缓解整段编码耗尽上下文与均匀时间压缩稀释细粒度音视频证据的两难。

  5. Hugging Face Daily Papers31

    Soft Spatial Reasoning:为 LVLM 空间推理引入软思考的后训练框架

    针对 LVLM 用 CoT 做空间推理时每步必须锁定单个 token、易因过早离散化传播错误的问题,研究者提出后训练框架 Soft Spatial Reasoning,在空间任务中引入软思考。该方法在每一步保留对空间解释的不确定性,而非强制提交单一 token,从而减少错误 token 选择带来的连锁推理偏差。

  6. Hugging Face Daily Papers35

    OmniReasoning:推动音视频联合推理的边界

    研究团队提出 OmniReasoning,包含音视频证据缺一不可的 OmniReasoningBench 基准、数据引擎与学习方法,该基准覆盖两类任务共 1,150 道选择题与开放题。现有基准、训练数据和学习方法大多将各模态独立处理,音视频联合推理能力因此缺乏充分评估与激发。

  7. Hugging Face Daily Papers31

    Dream4ACT:面向多具身视频-动作建模的共享视觉动作接口

    Dream4ACT 是一个面向跨具身联合视频-动作建模的世界模型,通过共享视觉动作接口统一不同具身的动作表示。研究指出,关节空间动作向量缺乏显式图像空间结构,且在不同具身间维度与语义各异,难以直接利用视频生成模型的时空先验;末端执行器可视化虽可替代,但无法给出机器人执行所需的完整关节构型。

9月29日周二
  1. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像等多模态数据联合训练的生物学世界模型,以及连接模型、科学工具、文献与实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环设计,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. Hugging Face Daily Papers31

    Devils in Question Relay:用源条件化中继引导缓解音视频大语言模型幻觉

    针对音视频大语言模型(AVLLMs)的"源混淆接地幻觉"——即未使用模态的线索诱导出所需模态并不支持的响应,研究提出源条件化中继引导方法 Question Relay。现有方法虽在缓解该失效上取得进展,但其如何从内部跨模态交互中产生仍未被充分理解。

  3. Hugging Face Daily Papers41

    LoopVL:循环视觉智能

    LoopVL 将 Loop Transformer 扩展到视觉语言模型,通过 Module-Loop 与 Model-Loop 组合,用共享模块迭代更新统一的视觉语言状态,并从零完成语言预训练、多模态训练与后训练。它在多模态理解与视觉推理基准上超过同规模及更大规模的非循环模型,还出现跨循环视觉注意力显著转移的 Visual Aha Moments。

  4. Hugging Face Daily Papers26

    研究:无关图像会干扰 VLM 评判,即使标注规则要求只看句子

    研究提出 MIST(Misleading-Image Stress Test)压力测试,包含 200 条英文句子,每条含一个可作比喻或字面理解的短语,并分别配对齐图像、误导性图像或无图像。标注规则要求仅凭句子判断答案,因此任何图像都不应改变结果,但实验显示无关图像会干扰 VLM 评判。

  5. Hugging Face Daily Papers39

    HelixWorld:实时交互式音视频世界模型

    HelixWorld 是一个实时交互式音视频世界模型,让视觉场景与基于相机的空间立体声在用户交互下原生同步演化。研究团队构建了带真实立体声与度量相机位姿的高保真空间音视频数据集,并据此预训练了一个双向模型。现有交互式世界模型大多只做视觉渲染与控制,忽略了声音维度。

9月28日周一
9月27日周日
9月26日周六
  1. Hugging Face Daily Papers29

    GeoSET:面向 SAR-to-EO 图像翻译的通用基础模型

    GeoSET 是首个面向 SAR-to-EO 图像翻译(SET)的通用模型,以单一预训练父模型为基础,在统一协议下适配下游数据集。研究团队从超 1000 万条 SAR 观测中筛选出超 300 万对高质量 SAR-EO 图像对。现有 SET 方法通常只在单一、有限规模数据集上训练,模型仅适配特定传感条件。

  2. Hugging Face Daily Papers34

    KeyRec:面向流式与长视频理解的有界视觉记忆框架

    KeyRec 是一个免训练框架,通过构建有界视觉记忆来解决长视频与流式视频理解中视觉 token 随视频时长累积、长上下文推理成本过高的问题。它在与查询无关的写入阶段保留细粒度的近期观测,以区分近期细节与长程历史,避免现有免训练视觉 token 选择方法丢失连贯事件证据。

9月25日周五
  1. Google DeepMind67

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和口型同步的音视频。

    推荐理由:官方披露了 Live Avatar 的实时音视频对话、异步工具调用与 97 种语言同步能力,可据此判断企业级数字人交互的落地形态。

9月23日周三
  1. Hugging Face Daily Papers31

    超越未来预测:去噪作为机器人控制的生成式自适应

    研究提出 NowWAM,一种无需未来目标预测的机器人控制方法,将预训练生成式 Diffusion Transformers(DiTs)的去噪能力直接用于动作学习,而非通过预测未来视觉帧来迁移生成先验。该方法重新审视了预训练生成式 DiT 对动作学习的实际贡献,并探索如何将这一先验适配到控制任务中。

9月21日周一
9月18日周五
7月27日周一
7月21日周二