Knossos 与 Ariadne:用视觉语言模型评测并学习完整图表拓扑抽取
针对图表到图的拓扑抽取任务(提取图中全部实体及其完整关系),研究提出评测基准 Knossos 与学习方法 Ariadne,用于大规模监督训练和系统评估。该工作指出,当前视觉语言模型虽能识别图表元素并推理内容,但完整图表拓扑抽取仍相对缺乏探索。
针对图表到图的拓扑抽取任务(提取图中全部实体及其完整关系),研究提出评测基准 Knossos 与学习方法 Ariadne,用于大规模监督训练和系统评估。该工作指出,当前视觉语言模型虽能识别图表元素并推理内容,但完整图表拓扑抽取仍相对缺乏探索。
研究者提出 VoCa,一种在语音对话中同步进行视觉对象创建、标注与注意力引导的语音智能体。其设计基于两部分形成性研究:先观察人类配对如何协调语音与板书,再通过设计工作坊构建语音-画布交互设计空间。
浙江省 19.5 万家外卖商家接入互联网加明厨亮灶监管系统,AI 识别摄像头覆盖率达 97.3%。明厨 AI 可自动识别小动物进厨房、洗菜池洗拖布、厨房吸烟等违规行为并推送监管人员督促整改,后厨环境卫生不合格率从上线时超 28% 降至 3.9%。消费者可在订单页查看后厨实时画面,市场监管总局还将推动电子证照在网络餐饮治理中的应用。
LEGO-Anything 让编码智能体从单张图像迭代编写可执行的 Blender 场景程序,并推出 LEGO-Bench 基准,包含 208 张图像、104 个场景和 443 个注册资产,用仿真渲染提供精确 3D 真值。研究发现,该智能体的几何自评接近随机水平。
Suno 于当地时间 10 月 1 日宣布推出 Speech 功能并开放公测,官方称这是业界首个将语音与音乐作为单一连贯音轨共同生成的端到端闭源音频模型。该功能内置于 Suno 中,输入一段文字并描述音色与音乐风格即可生成带 BGM 的语音音频。官方承认当前版本偶发口音漂移和语调过于戏剧化的问题。
MiniMax 发布 M3.1 Flash 模型,在保持接近 Opus 5.5 性能的同时,以极高性价比和生成速度降低 AI 视频创作的落地门槛。作者通过手账风格、小蝌蚪找妈妈、纽约天际线等多个测试案例,展示了该模型在视觉风格一致性、角色运动流畅度和字幕叙事连贯性方面的能力。
可灵 Kling AI 官宣 Kling 4.0 进入封闭测试,计划今年 10 月正式发布。新版本带来更稳定的动态运动、高质量立体声与更准的口型同步,支持最高 4K 分辨率与 10-bit HDR 输出,可生成最长 30 秒视频。
作者在腾讯元宝内置的Hy Image3.5 Preview模型上整理出25种AI修图玩法,按人像、风景、美食三类旅行照片逐一演示并附完整提示词,涵盖杂志拼贴封面、漫画登机牌、JRPG任务界面、手绘小票、明信片式延伸线稿等效果。作者还实测了肤色还原、去除路人、阴天换蓝天等基础修图能力,称模型文字稳定性与人物一致性好,手机端可用且免费。
腾讯 WorkBuddy 宣布其内置模型独家支持匿名 Flash 大模型 Space Bunny。该模型具备极速推理与编码能力,原生支持文本、图像、视频输入,上下文长达 1M。
研究发现,基于编码器的新视角合成(NVS)方法表征质量差,根源不在监督信号不足,而在架构选择:空间表达能力过强的解码器会稀释场景编码器的表征能力,低层像素空间目标也阻碍特征学习。为此作者提出 SNAP,通过弱化解码器来强化几何表征学习。
4DCodeBench 是一个通过代码生成评测 4D 逆图形学的基准,要求智能体从视频重建动态场景并输出可执行的图形程序。智能体需将视觉观察转化为场景结构与动态的紧凑表示,并实现物理模拟等抽象来复现复杂行为。该基准包含真实视频与覆盖形变、流体、断裂等物理现象的合成场景。
EyeRobot 2.0 提出用主动凝视实现精细双手操作,仅靠单个立体相机、无需腕部相机。它通过转动两个眼部视角将凝视中心对准场景中的 3D 注视点,并以中央凹方式分配更多视觉 token 给图像中心,把计算集中在任务相关特征上。该方法采用分层方式协调执行任务时的凝视,先训练底层凝视伺服。
研究团队开发了一个两阶段 AI 模型,用于预测乳腺癌新辅助治疗的病理完全缓解(pCR)。第一阶段利用 32 种癌症类型、8,742 名患者的组织病理学数据学习转录组,并经病理学家复核及与实测表达的空间一致性验证;第二阶段基于推断的表达和临床变量预测 pCR。模型用 1,080 名患者(五个队列)开发,并在 1,412 名患者(九个队列)中评估。
PixVerse 推出新插件,可将任意角色变成会说话的主持人。用户添加插件并选择角色后,角色会在镜头前自然地说话、反应和做手势,同时 PixVerse 自动生成片段。
LoGo 通过融合全局奖励与空间局部奖励,为相机控制视频模型提供细粒度信用分配,以改善长时生成中的 3D 不一致问题。现有后训练方法只对整段生成给单一标量奖励,难以在长时程上纠正物体失去持久性、场景结构漂移等失败模式。
研究者提出 World Embedding Benchmark,包含来自 80 个家族、覆盖流体力学、固体力学、动力学与光学电磁学的 8,000 个受控仿真案例,每个案例将渲染视频与仿真导出的物理标注配对。该基准支持文本-视频检索、物理属性回归和视频-描述配对多选分类三项任务,用于评估视频表征对物理信息的编码能力。
研究提出以低成本视频-时间先验作为 EEG-fNIRS 连续情绪回归的强基线,在熟悉视频场景下估计观看者逐刻的 valence 与 arousal。在 24 名被试的五折留一被试评估中,该基线与融合模型在内部和外部评测中的 MAE 差距分别为 0.05 和 0.32。消融实验显示,视频身份与视频内时间贡献了大部分误差下降,EEG-fNIRS 带来的增益较小且因人而异。
HyperBrowseComp 是一个多语言多模态网页浏览基准,包含由母语者编写的 423 道人工校验题目,覆盖 13 种语言。每道题都要求定位冷门证据、追踪多步线索链,或检查视频、扫描文档、图像、地图等异构来源,且答案公开可验证。无联网模型评估被用于过滤掉过于简单的题目。
Weave Forcing 是一个免训练框架,用于交互式长视频生成中的组合式记忆复用,可让新镜头组合来自不同历史镜头的角色与背景。它针对整体提示词检索会忽略各组件独立参考需求、直接拼接全部历史记忆又会引入无关视觉内容的问题而提出。
研究者提出 ECHO-k,一种任务无关、自监督的模态获取原则:在测试时利用深度模型(如基础模型)的内部预训练表示作为代理,顺序选择信息量大的模态,无需知道下游任务或预测目标。该方法针对多模态高维学习中测试时获取全部特征成本高昂且冗余的问题。
针对 Qwen2.5-VL-7B-Instruct 的研究发现,定向对抗扰动可将固定目标描述的 teacher-forcing 训练损失压至接近零,但模型自由生成时仍输出原本正确的描述,作者称之为训练/推理鸿沟。研究在 200 张 COCO 留出图像上用两阶段 PGD 攻击给出了机制性解释,并指出图像级像素统计(含重新实现的基于纹理的可攻击性度量)无法解释这一现象。
CLIMB 是一个免训练的多模态 RAG 推理时框架,先构建紧凑的互补证据,再用置信度引导判断答案更新是否被检索证据充分支持。它针对现有系统依赖 Top-K 检索或重排序、易返回冗余段落且对答案更新缺乏控制的问题。
Google 在 Gemini Live 中上线 Guided Vision,在兼容的 Android 设备上通过共享摄像头,对镜头所指向的内容提供实时语音描述。该功能可帮助读取小字、描述周围环境、寻找或识别物体,面向盲人、低视力人群以及需要特定场景辅助的用户,定位类似 Apple 在 iPhone 和 Vision Pro 上推出的 VoiceOver Live Recognition。
VISTA 是一个视觉框架(harness),让通用多模态模型获得长时程视觉能力,可直接通过视觉观察感知环境,并以无损视觉记忆保留原始历史观察,模型在推理时可主动检索并重组视觉输入。在 ARC-AGI-3 上,VISTA 提升了模型表现。
针对 2D 运动轨迹在相机与物体同时运动时存在歧义的问题,研究者提出 Generative Cinematographer(GenCine),可将单张图像提升为可编辑的 3D 场景脚手架,让创作者联合编排相机路径与前景运动。创作者可指定相机路径,并用局部 3D 运动手柄移动选定的前景区域,多个手柄可分别驱动不同区域。
DuoMind 是一个通过语义通信实现多机器人协同的分布式分层框架,每台机器人用基于 VLA 的动作模型做低层执行、用基于 VLM 的编排器做高层决策。该框架面向多机器人系统中长时程行为协调与细粒度可靠执行的难题,相关研究已发布在 arXiv。
Where-OPD 提出一种面向多模态大语言模型(MLLM)的空间引导在线策略自蒸馏方法,利用合成场景提供特权视觉信息,摆脱对人工标注 grounding 数据或外部教师的依赖。现有基于图像裁剪等特权视觉信息的做法,其收益仅限于能从视觉放大中获益的任务。
GeoLatent 提出用几何引导的潜在结构化与路由优化方法,将位置、方向和全局几何分别表示为分解式空间潜在变量,以提升 2D 图像的 3D 空间推理能力。该方法针对几何表示易向单一主导方向坍缩的问题,在几何监督下进行优化。
研究提出 Form and Void,用自主 AI 智能体生成正负空间(positive-negative space)构图,解决共享边界下两个语义概念需协同控制、单次直接提示难以完成的问题。现有 text-to-image 模型与多模态大语言模型(MLLMs)在图像生成和视觉理解上表现强劲,但正负空间生成仍很困难。
SPHERE 是一个自适应 VR 室内场景生成框架,通过 LLM 增强的空间偏好学习和 Human-in-the-Loop 强化学习,把单次场景合成变为持续的人机协同创作。它从语音和手柄编辑等多模态交互中提取持久空间偏好,并将原始编辑抽象为分层约束以抵抗空间畸变。
研究者提出 Canonical Coordinate Framing(CCF)与 Task-Adaptive Feedback(TAF)两个新概念,让强大的 2D VLM 通过 3D 定位与迭代反馈循环在 3D 任务中可靠运行,而非直接将模型扩展到 3D。CCF 作为统一视觉表示,将输入与输出锚定到共享的欧氏空间。
针对现有有害视频检测系统将安全检测简化为二分类、且依赖静态训练目标的问题,研究者提出通过自适应 Tversky 策略优化实现可控多标签视频安全检测。该方法面向 Vision-Language Models(VLMs),支持按需调节精确率与召回率的权衡,以适配不同场景下所需的工作点。
研究提出 Foresight,让流式 VLM 在不重训练的情况下,利用模型自身对近期未来的预判能力动态配置后续计算,从而适配不断变化的场景动态。现有流式 VLM 的推理计算路径在推理过程中固定不变,无法按未来事件调整感知的层级与形式。
COSMI 提出用组合方式生成多物体人-物交互数据:将单物体交互片段镜像以平衡左右手、迁移到不同人体,再用语言模型与几何检查筛选语义和物理上合理的配对。该方法针对多物体采集成本随组合爆炸而高昂、现有数据集多只记录单个物体的问题,从单物体捕捉中提取局部交互来合成多物体活动。
针对潜在视觉推理中多个 latent token 通过共享 value 投影访问同一视觉证据、导致潜在表示冗余的问题,研究者提出 MoLE(Mixture of Latent Experts),让不同 latent token 提取互补的视觉信息。该方法面向 vision-language 模型的连续中间状态推理,无需显式文本推理链或重复图像操作。
Suno 发布 Speech Beta,这是一个能同时生成语音和音乐的 AI 模型。目前该功能处于 Beta 阶段,官方博客给出了介绍页面。
Google 在 Gemini Live 中推出 Guided Vision 功能,面向盲人和低视力用户,在 Android 平台上线。该功能由 Google 官方博客发布,具体能力细节尚未在现有材料中展开。
PROWBench 基准用于评测可编程世界模型对程序指定世界事件的视觉还原度,包含 170 个程序化构建的片段和 600 段代理视频,覆盖多样场景与交互。该基准记录实体状态等信息,以检验模型对细粒度程序规则与交互的遵循程度,而现有基准多只评估视觉质量、可控性与指令或物理遵循度。
OmniSeek 是一个将 Omni-LLM 转变为具备原生工具调用能力的多轮推理智能体的框架,让证据获取成为推理过程的一部分,动态决定看还是听、以及覆盖哪个时间窗口,从而在长上下文中跨模态检索稀疏但关键的证据。检索到的原始音频或视觉片段通过迭代多轮协议回传,供模型继续推理。
4Director 是一个以显式 4D 场景表示为条件的视频世界模型,每个物体从输入图像重建为规范网格,并按每帧指定的刚性变换运动。相比依赖图像平面线索或缺乏完整几何的 3D 轨迹与 blob 的现有方法,该表示提供了直观的 3D 控制,并能在视角变化中保持一致。