研究时空视频定位中的查询不敏感行为
研究发现,当前 SOTA 时空视频定位(STVG)模型在查询与视频无关、甚至完全移除文本输入时,仍能输出看似合理的时空预测。该工作挑战了现有 STVG 模型训练与评测中"每个查询都与输入视频相关"的假设,并进一步分析了这一查询不敏感行为。
研究发现,当前 SOTA 时空视频定位(STVG)模型在查询与视频无关、甚至完全移除文本输入时,仍能输出看似合理的时空预测。该工作挑战了现有 STVG 模型训练与评测中"每个查询都与输入视频相关"的假设,并进一步分析了这一查询不敏感行为。
针对现有 VLM 面向离线场景、难以低延迟处理在线流式视频的问题,研究提出 ReMem,通过保留长上下文实现流式视频理解。探测实验发现,多数现有记忆与 token 压缩方法会随输入流变长而逐步丢失长上下文信息。
UltraDub 是一个统一视觉引导流学习与轨迹引导的配音框架,将视觉同时用作多模态上下文聚合的连续运动信号和轨迹修正的结构节奏。该框架针对顺序多模态条件破坏时序与说话人线索、以及推理引导不平衡导致唇形同步受损的问题提出解决方案。
论文用 Hodge 分解分析去中心化优先协调博弈,将激励拆分为共同目标可表示的势分量与无法表示的调和分量,并针对线性收益给出两者的刻画。研究进一步给出了该替代模型的设计极限,即用势博弈近似这类交互时所无法覆盖的部分。
研究者提出 Level-of-Token(LoT)Diffusion,通过显式的多分辨率 token 布局(Level-of-Token layout)为图像和视频扩散模型自适应分配算力,在需要细节处使用更细的 token、在其余区域使用更粗的 token。该框架利用生成前即可预测的细节空间分布来减少计算量,token 对应不同尺寸和形状的矩形 patch。
研究提出 OR-Bench,一个覆盖旋转检测、旋转幅度估计与多视角旋转推理共八项任务的细粒度物体旋转推理基准。在 12 个 VLM 上,最强模型旋转检测准确率接近 100%,但粗略幅度估计仍接近随机水平;被要求给出精确角度时,模型有 91.8%–100% 的预测集中在 0°、90° 和 180° 三个值上。
研究将 VLSU、BBQ-V、Asimov-2.0 三个安全基准改造成 15,401 对匹配请求,每对仅在输出形式上不同:自由文本回答(VQA)或视觉定位(点或边界框)。在五个 VLM 上测试发现,模型在视觉定位输出通道上的安全对齐尚未被系统分析。
研究提出 Conditional Trajectory Peaks(CTP),一种单次前向的策略框架,可同时预测完整的动作分块候选、概率质量与轨迹尺度,用于多模态模仿学习。
S2PD 提出串行到并行扩散(Serial-to-Parallel Diffusion),在高噪声阶段做自回归扩散、低噪声阶段切换为并行扩散,以串行计算协调相互依赖的事件并产生有效状态转移,再由并行阶段联合精修整段视频并减少采样开销。该方法针对双向视频扩散模型即便在程序生成器近乎无限的分布内数据上训练仍违反物理规律和简单符号规则的问题。
针对零样本视觉蕴涵(VE)方法将假设作为单一整体推理的问题,研究者提出 Atomic Visual Entailment(AVE),把假设分解为原子事实,用冻结的视觉语言模型分别基于完整假设和原子事实生成候选预测,再通过学习选择得到最终结果。该方法面向零样本视觉语言推理场景,目前仍处于论文阶段。
一项研究提出用 ArcPy 构建 ArcGIS Pro 自动化工具,从 Landsat 7、8、9 数据集中提取地表温度(LST),自动完成辐射定标、基于 NDVI 的发射率校正与热转换,免去手动选波段和重复栅格计算。该工具支持批量和单景处理,并可选用 LLM 解读统计结果并生成报告,处理耗时随批量规模下降。
针对多模态多智能体辩论(MAD)中智能体共享固定视觉输入、忽视样本与智能体间视觉尺度差异,以及易陷入群体思维的问题,研究者提出 DREAM,为多模态多智能体辩论动态分配分辨率。该方法旨在让不同样本和智能体按需获得相应视觉尺度,并缓解智能体因盲从自信但幻觉的同伴回答而放弃正确推理的现象。
Kandinsky 6.0 Video 是一组用于同步文本到音视频生成的基础扩散模型,包含 3B 参数的 Lite 版和 29B 参数的 Pro 版。两个模型都能生成 5 秒视频并同步 44 kHz 音频,支持唇形同步,提供文本到音视频(T2AV)和图像到音视频(I2AV)两种模式,内置超分辨率模型可将输出提升至 Full-HD(1920×1080)。
Tripo P2.0 可生成干净、可直接用于动画的角色,采用为运动打造的四边形拓扑,避免变形或拉伸。工作流覆盖生成、绑定到动画,减少手动工作并带来更干净的结果。
PixVerse 推出面向 AI 智能体的插件 pixverse ad variants,可从一支已有广告生成营销活动所需的任意多个版本。该插件支持替换出镜人物、服装、产品或背景,同时保持构图、镜头运动、节奏和灯光不变,为不同市场、季节和受众产出新变体。
可灵 Kling 4.0 制作的短片《The Beat》社交平台曝光量突破 500 万,官方发布幕后解析。影片开场 30 秒连续长镜头依托 Kling 4.0 原生 30 秒生成能力实现,Omni Reference 单任务支持最多 15 个多模态参考,Multi-Keyframe 支持最多 10 个关键帧,并采用 10-bit HDR 输出与升级立体声音频。
针对第一视角助手需跨场景回忆空间信息的难题,研究者提出 Spatially grounded Conversational Memory(SpaC-MEM),一种以对象为中心的工作记忆,用于处理跨场景、回忆导向和反事实的空间查询。
一项心理物理学研究对比了 1250 名人类与 MLLM 在相同 2D 和 3D 刺激下的视觉搜索表现,发现两者在特征搜索中均表现高效,而在联合搜索中随集合增大性能下降。人类与 MLLM 的错误率呈强相关(ρ=0.82),表明 MLLM 在视觉搜索任务中表现出类似人类的难度特征。
ViralReel 在 Show HN 发布,可让用户上传两张照片,在 60 秒内生成爆款的橙色电话亭 Hotel Lobby AI 模板视频。该工具支持自动对口型、手势与光照处理,适用于情侣、宠物和婴儿。
一款 Telegram 机器人可直接在聊天中根据文本提示词或图片生成 AI 视频,支持 Kling、Runway、Seedance、Veo、Wan、Hailuo、MiniMax 和 Grok 共 8 款模型。无需桌面软件,与机器人对话即可在数秒内获得视频。
研究用强化学习训练视觉语言模型,在不看被测句子的情况下从胸片生成12项清单,再由独立核查模型判断句子。在留出患者上,规则核查与独立医学核查的区分度(Youden指数)分别提升12.6%和11.8%,仅规则核查满足预设误报标准。
针对视觉编码器评估中单模态指标仍占主导、跨模态指标更能预测下游性能的现状,该研究通过大规模实验重新审视跨模态评估方法,指出此前工作在实验设计与方法构建上的重要局限,并在修正这些局限、引入简单改进后提出了新的评估方案。
研究者提出 MMPostTrainBench,用于评测 LLM 智能体在多模态后训练中的自主研究能力,覆盖图像、音频、视频、音视频联合理解及图像相关软件修复共八项任务。智能体从同一基座模型出发、在固定预算内迭代,先利用开发反馈再对提交模型独立评测。
IRSTD-Agent 是一个面向红外小目标检测的智能体框架,让 MLLM 自适应决定在图像何处、以何种尺度进行检视,逐步收集细粒度视觉证据以精确定位目标。该框架针对现有 MLLM 方法难以精确定位红外小目标的问题,通过动态视觉搜索与缩放引导的交互学习实现检测。
Vela 是一个视觉-语言-动作基础模型,将未来机器人行为表示为连续轨迹,而非固定速率的动作块。它通过自适应动作曲线参数化,解决点式表示在相邻动作上浪费容量、时序连续性与平滑性只能隐式学习、以及长时程覆盖与接触密集操作局部精度难以兼顾的问题。
VisualBridge 提出用时间序列折线图作为视觉中间表示,桥接高层时序语义与数值序列,以改善少样本预测。该方法先由 MLLM 将绘制的序列转成结构化语义表示,从而显式控制趋势、季节性与波动性等时序属性,再学习语义编辑策略。
美国 AI 视频公司 Tavus 于 10 月 1 日发布名为 Griffin 的模型,并将其定义为全球第一个人类交互模型(Human Interaction Model,简称 HIM)。
CreativeFlow 是一个类比生成框架,通过显式建模类比发散思维,缓解 text-to-3D 流程中的创意同质化问题。该方法可推导出一系列语义有意义且关系相似的源-目标资产对,每对具有不同的几何构型。专家评估显示,该框架显著提升了创意新颖性与视觉吸引力,其工作流与产出资产也为后续关系感知的 3D 模型训练建立了数据集与基准。
研究提出跨模态对比多示例学习框架 CCMIL,可直接从标准 H&E 病理切片中检索并推断与免疫治疗响应相关的分子特征,替代依赖 10 基因 RNA 特征的高成本检测。该方法通过监督对比目标,将视觉形态模式与分子表型对齐到共享潜在空间。
研究固定物理定律与初始状态,仅改变首帧绘制的几何形状,将九款图生视频模型生成的轨迹与模拟器预测逐一对比。成对干预每次只改一处:局部凸起、障碍高度、提示词措辞、片段长度。结果显示几何信息被保留并塑造了运动。
InstMoE 是一个面向多模态学习的自适应专家路由框架,可将每个输入动态路由至专门的单模态与跨模态专家,使模型按输入特征调整信息通路。该框架针对模态特有变化掩盖任务相关语义、进而误导路由决策的问题提出了应对思路。
针对 MLLM 推理越长、对初始视觉输入注意力越弱的问题,研究者提出 ReMAP(Reasoning-Time Memory-Augmented Perception),在推理过程中重新引入视觉证据。其受控分析从整理、组织、访问三个维度考察视觉记忆,发现局部证据受益于全局上下文,紧凑潜在表示可平衡准确率与视觉上下文开销,记忆访问的效用取决于推理状态。
四款前沿模型各自持有 USDC,在直播的 20 Questions 对局中真金白银博弈:提问 10 美分、猜错 1 美元、猜中赢走奖池。每轮由一个模型出题、其余在群聊中盘问,提问费用私下支付但信息全员共享,由此产生可观察的搭便车问题。模型还会私下记录自己的最佳猜测与置信度。
针对结果奖励无法说明轨迹价值应如何分摊到各决策的问题,研究者提出残差视觉信用优化(RVCO),将 token 信用视为守恒的路由问题。该方法通过受控视觉干预得到逐 token 证据响应,用轨迹内稳健坐标去除偶然尺度,再由预算化熵路由器按感知依赖分配固定序列效用。
VideoResearchAgent 通过可扩展的任务合成与 Sim-to-Real 强化学习,训练能在开放网络上自主发现视频、导航时序内容并基于视觉证据作答的研究智能体。现有深度研究智能体主要面向文本和图像网页,视频推理系统则通常假设相关视频已预先提供。该工作针对实时视频交互慢且不可靠、固定本地模拟易产生检索捷径而难以迁移到开放网络的问题提出解决方案。
研究者提出 QASLR(Query-Aware Streaming Latent Reasoning),一个后训练框架,在固定嵌入大小下跨视频片段累积证据,解决长视频嵌入中稀疏查询相关证据难以捕捉的问题。该方法选取有界帧集合、恢复其时序顺序,并用视觉语言骨干逐片段处理,避免均匀采样漏掉短视频事件,也无需在单一上下文编码更多帧而增加内存与计算。
MedImageOSWorld 是一个在模拟 CT、MR 和超声控制台上评估 GUI 智能体的基准,要求智能体仅凭截图和鼠标键盘操作完成协议配置、采集规划、图像检查与纠正调整。该基准聚焦于将屏幕上的解剖结构与决定后续影像证据的采集决策关联起来,以检验智能体能否像人类操作员一样通过控件和视觉反馈提供可靠的采集辅助。
研究系统刻画了一种反直觉的部署期失效模式:在全模态上训练的多模态模型,当推理时缺失某一模态,表现可能反而不如单模态模型。该现象出现在融合模型、CLIP 式双塔模型等多种架构中,作者从几何视角分析多模态训练中形成的内部跨模态依赖,指出其会损害鲁棒性,而现有模态恢复或自适应方法忽视了这一点。
ARISE 是一套面向炎症性肠病(IBD)评估的自适应智能体推理方法,通过图像接地的自评估提升可解释性。该方法针对 Vision-Language Models 在 WCE、肠道超声等影像分析中领域推理不足、易产生幻觉、细粒度诊断训练数据稀缺及可解释性有限的问题而提出。
Tripo 推出全新动画功能,支持从文本直接生成动作,整个过程只需几秒。该功能还提供多阶段动作能力,创作者 @justinryanio 已参与体验。