跳到正文
10月6日周二
  1. arXiv26

    基于控制的动态优化实现多样化运动定制

    针对视频生成中运动定制的内容泄漏问题,研究者提出 Control-based Motion Customization(CMC)训练框架,将泄漏归因于生成过程向参考视频坍缩,即学习目标被表述为对参考视频的直接回归。CMC 通过基于控制的动态优化实现结构上对内容泄漏的鲁棒性,并支持多样化运动定制。

  2. arXiv22

    ARIA:面向粤语歌词创作的声音驱动旋律-声调关系建模

    针对现有旋律引导歌词生成方法依赖符号化旋律、难以直接处理原始演唱音频的问题,研究者提出 ARIA——一个两阶段的音频驱动旋律-声调关系建模框架,可直接从演唱录音生成粤语歌词。该方法面向粤语歌词创作中字调与旋律音高需紧密对齐的需求,将音高隐含、含噪且非结构化的演唱音频纳入建模。

  3. arXiv27

    读取而非操控:用 Router Logits 提升 MoE 视觉语言模型多模态安全

    针对 MoE 视觉语言模型在视觉与文本组合下出现的组合式安全风险,研究提出不干预模型内部状态、而是读取 router logits 的多模态安全方法。现有提示词、监督微调与基于路由的专家引导等干预手段在不同模型和评测分布上提升不一致,且因过度拒答带来安全与可用性的权衡。

  4. arXiv22

    SENSE:状态感知的情绪导航故事生成引擎

    SENSE 是一个状态感知框架,用于生成可玩的分支视觉小说并支持多轨情绪导航。它整合了名为 MIND 的状态化叙事架构、结构分析器和路径感知上下文管理模块,仅凭少量高层输入即可生成多条交叉路线,同时保持角色一致性与叙事因果性。基于 LLM 评判、情感指标和视觉评估的评测显示,SENSE 在多项指标上优于基线。

  5. arXiv26

    OpenSplatGraph:从稠密语义地图到开放词汇机器人感知的结构化场景图

    OpenSplatGraph 将 3D Gaussian Splatting 构建的稠密语义地图转化为结构化 3D 场景图,用于开放词汇机器人感知。现有基于 3D Gaussian Splatting 的建图方法虽能提供高保真几何与高效开放词汇感知,但语义以非结构化特征场表示,限制了以对象为中心的推理;而场景图方法多依赖稀疏几何表示,未能充分利用稠密语义地图。

  6. arXiv31

    儿童向 AI 的手语转文本安全接口审计:SLT 与内容审核为何未被联合评估

    自动手语翻译(SLT)已进入消费产品,可将美国手语转为英文文本用于听写、消息和对话助手查询,但儿童向 AI 与平台安全工具只对文本做过滤和诱骗风险分类,手语儿童须经翻译才能触达这些防护。研究未发现任何公开记录的系统对二者进行联合评估,且主流已部署的 SLT 模型既未针对该场景训练,也未经过正式评估。

  7. arXiv31

    从书面作答到与 AI 对话:活动形式、交互模态与语言如何影响学生学习与参与

    一项针对印度卡纳塔克邦 305 名以 Kannada 语为母语、就读英语授课院校的本科生的实地研究,对比了书面作答与基于文本、语音的 AI 对话活动对学生学习和参与度的影响。研究考察了活动形式、交互模态与语言三个因素,探讨对话式 AI 能否在 LLM 普及背景下重新设计学习活动,以及多语言能力是否让非母语学习者更易参与。

  8. arXiv22

    TC3-VQA:面向战术战伤救治的教条依据视觉问答数据集

    研究者构建了 TC3-VQA 数据集,用于将伤情与干预措施的视觉观察同可追溯的 TC3 临床指南相连接。该数据集取自公开的 TC3 教学与实战视频及权威 TC3 文档,包含 581 个条目、覆盖 11 个概念,共 1,860 个问题,涉及干预识别、教条、临床推理、流程指导以及视觉信息不足时的拒答。

  9. 科技媒体 RSS62

    Reka AI 发布 19B 全能模型 Rho-1,单模型处理文本、图像、视频与机器人控制

    Reka AI 发布 190 亿参数全能模型 Rho-1 的研究预览版,在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。该模型将全部模态作为 token 放入同一上下文窗口,无需工具调用或外部模型,可实时生成连续视频并即时响应新指令,同一套权重既预测摄像头图像也驱动机器人运动。

  10. arXiv29

    解读 Diffusion Transformer 中的上下文 Token:用 LLM 读取 MM-DiT 中间表征

    研究提出一种通过自然语言提问读取多模态 Diffusion Transformer(MM-DiT)上下文空间的框架,训练轻量瓶颈网络将中间上下文 token 映射到冻结 LLM 的输入空间,让 LLM 直接回答关于生成中图像的问题。该方法针对生成过程中经多模态注意力反复更新、功能尚不明确的动态文本 token。

  11. arXiv31

    PlaySuite:面向交互式视觉智能的大规模基准

    研究者推出 PlaySuite,一个覆盖超 5K 款开源视频游戏的大规模基准,用于评估多模态基础模型的交互式视觉智能。这些游戏来自 PyWeek 与 itch.io,涵盖 Pygame、HTML5、Godot、Unity 等引擎与多种类型,对当前模型大多属于分布外数据。该基准针对现有评测忽视的长时间跨度动态环境中的行动能力。

  12. arXiv22

    SAFE-MR:面向选择性多模态谣言检测的证据充分性学习框架

    SAFE-MR 框架将断言真实性判断与证据充分性判断分离,通过把图文帖子拆解为可验证断言、构建关系感知的断言-证据图,并依据来源与上下文兼容性聚合证据,再以独立的真实性头与充分性头输出结果。该研究针对检索到的相关证据未必足以支撑验证的问题,指出缺失来源、重复报道与未解决的矛盾会导致缺乏充分依据的自信预测。

  13. arXiv31

    MM-KG:将多模态患者证据与生物医学知识图谱对齐的临床 LLM 方法

    研究者提出 MM-KG(Multimodal Knowledge Graph),将异构多模态患者观测数据与生物医学概念表示为同一类型图中的独立层,并通过显式对齐边连接。模态专属协调器先把 EHR 文本、影像、基因组和生物样本数据转换为带类型的表示。该设计使临床预测可追溯到证据来源,并可通过移除证据衡量其贡献。

10月5日周一
  1. arXiv27

    SpatialChain:审计 VLM 空间推理忠实度的基准

    SpatialChain 是一个用于审计 VLM 空间推理忠实度的基准,包含 28,350 条训练样本和 899 条测试样本,将 GQA 空间问题与场景图推理链配对,仅保留生成答案与符号真值匹配的样本。其双轴评估结合客观链重叠指标与场景图感知的 LLM 评判器,对忠实度进行打分,以区分正确答案来自真实空间推理还是语言捷径。

  2. arXiv26

    MeSD:面向 VideoLLM 的多证据自蒸馏方法

    针对 VideoLLM 的强化学习仅提供序列级奖励、缺乏 token 级指导的问题,研究者提出多证据自蒸馏方法 MeSD,通过让自教师模型基于特权信息提供密集的 token 级监督。该方法指出在单一教师上下文中聚合异构证据会掩盖证据间的一致与冲突,并进一步探讨教师指导应用于优化奖励更新还是为失败样本提供纠正性监督。

  3. arXiv22

    通过候选验证与散度偏移实现高效测试时自适应

    研究者提出 Test-Time Correction(TTC),将视觉语言模型(VLM)的测试时自适应(TTA)从预测侧调整重新表述为候选验证,以避免调整 logits、原型、缓存、先验或特征统计带来的额外计算开销。该方法面向 VLM 在推理时遭遇目标域偏移的场景,原文未给出具体 benchmark 分数或速度倍数。

  4. arXiv34

    多模态饱和的几何成因:Riemannian VICReg

    在九个图像-文本-表格数据集上,三模态模型在 VICReg 下有 55.6% 的配对运行不如其自身最佳双模态子集,SimSiam 下同样有 51.1% 出现该现象,研究者将这种失败称为"多模态饱和"。为此提出 Riemannian VICReg(R-VICReg),通过可学习负曲率乘积因子上的测地距离平方对齐视图,对经典 VICReg 进行推广。

  5. 科技媒体 RSS41

    斯凯孚用 AI 复活已故影星嘉宝拍广告,引发赞许与争议

    瑞典轴承制造商斯凯孚(SKF)用 AI 生成已故好莱坞影星葛丽泰·嘉宝的形象拍摄广告,项目已获嘉宝遗产管理方及家属授权。图像由字节跳动 Seedream 5 Pro 和谷歌 Gemini 的 Nano Banana Pro 生成,动作用 Seedance 2、Seedance 2.5 和快手可灵 AI,语音基于嘉宝早年影片原声训练,未使用存档照片或历史影像。

  6. arXiv22

    ROT:旋转隐藏状态向上下文向量对齐,缓解 LVLM 幻觉

    针对大型视觉语言模型(LVLM)的物体幻觉问题,研究者提出免训练干预方法 ROT,不再调整注意力权重,而是直接作用于自注意力与残差相加后提取的隐藏状态向量。实证分析发现,幻觉 token 并非单纯过度依赖语言先验,而是对文本与视觉上下文的相似度都显著偏低,呈现异常的上下文偏离。

  7. arXiv31

    面向可控图像编辑的可扩展最小变更学习

    研究将"最小变更"原则作为基于指令图像编辑的优化目标,指出潜空间 L1 正则化在现代非线性生成器中难以有效约束输出局部性,且通常需要大规模场景下无法获得的监督信号。为此改用强化学习直接优化编辑结果,由一个智能体式视觉语言奖励模型审查源图、指令与编辑后图像,检测两类失败类型。