跳到正文
10月15日周四
  1. arXiv cs.AI15

    肾细胞癌分类中放射组学-图像融合的概率校准评估

    研究基于 KiTS23 数据集的 396 名患者,评估在四类图像模型中引入放射组学后概率预测质量的变化。在 12 组匹配对比中,AUC 和 AP 全部提升,Brier score 与 NLL 在 11 组改善,ECE 在 8 组改善;3D MedVAE 门控融合模型表现最佳。对拼接、交叉注意力和门控融合做概率平均,可在全部四类架构上同时改善区分度与校准。

  2. arXiv cs.AI26

    LabInstruct:面向实验室流程的实景教学视频生成基准

    研究团队推出 LabInstruct,一个面向真实实验室的实景教学视频生成基准,涵盖 5 个学科、204 项任务,配有真实参考执行及物体、动作、接触和状态转换的结构化标注。对 8 个前沿图生视频模型的评测显示,视觉上逼真的生成结果往往在流程上并不正确,暴露出视觉真实感与实验教学可靠性之间的显著差距。

  3. arXiv cs.AI36

    AesCode:用解耦跨模态奖励实现美学代码生成

    AesCode 通过将同一提示词生成的图像作为美学引导,让代码模型生成幻灯片、海报、仪表盘等视觉产物的代码。该方法用设计图表示整个画布,并从中导出解耦的跨模态奖励:确定性验证器评估可从代码和渲染中解析的属性,VLM 评判器则用样本专属的 Visual Graph Rubric 评估不可解析属性,再通过强化学习与逐通道归一化联合优化。

  4. arXiv cs.AI24

    通过纠正模态误路由缓解全模态 LLM 的跨模态幻觉

    针对全模态大语言模型在音视频干扰下的跨模态幻觉,研究者提出免训练推理时方法 CaRe(Conflict-aware Residual Intervention),通过纯文本模态探针识别候选模态反事实分支,在其预测与原始联合预测冲突时判定为"模态误路由",并利用反事实与融合表示的残差方向引导多模态状态回归相关模态证据。

  5. arXiv cs.AI31

    视觉语言模型为何看得见深度却选错线索

    视觉语言模型在深度判断中会系统性地偏向图像平面线索,而非真实深度信息。研究通过深度与线索冲突实验发现,即便模型答错,正确深度顺序仍可从目标物体的视觉表征中解码出来。通过物体级写回强化模型自身的深度读出,可在不更新参数、不使用真值深度标注的情况下纠正冲突判断,但效果因架构和领域而异。

  6. arXiv cs.AI38

    STOU:第一视角多模态助手安全评测基准,区分伤害对象而非只看拒答率

    研究者提出 STOU 基准,包含 2,902 条第一视角视频-音频与视频-文本查询,按潜在伤害对象分为用户自身(Self)、同场他人(The Others)与社会整体(Others)。该评测将安全理解与拒答行为解耦,除拒答外还考察模型是否识别用户意图、伤害的存在与对象及其后果。在 10 个开源与闭源全模态及多模态 LLM 上,拒答率随伤害对象系统性变化,且模型常识别出风险仍继续提供帮助。

  7. arXiv cs.AI29

    RoTA-Bench:通过交互式投影对齐评估 3D 空间推理

    研究者推出 RoTA-Bench,通过交互式 3D 到 2D 投影对齐评估视觉语言模型的 3D 空间推理能力,包含 674 个任务及 100 个分层测试任务。GPT-5.6-Sol 仅完成 17% 的任务,而 20 名本科生参与者以 100% 成功率集体完成测试集四次。在相同状态下,模型比人类更常出现轮廓重叠改善但姿态对齐变差的情况(19.4% vs. 10.9%)。

  8. arXiv cs.AI26

    ChemExplain:面向解释性化学推理的多模态基准

    研究者推出 ChemExplain,一个从 383 篇同行评审论文中构建的 1180 道多选题化学基准,每题给出分子或反应图像、观测到的化学效应和四个候选解释,要求模型完成"解释性归因"。基准由多智能体框架自动构建并经八位化学领域专家验证,最强模型准确率为 78.6%;在 600 题专家复核子集上,该模型 71.4% 的错误被归类为归因失败。

  9. arXiv cs.AI29

    Neos:让多模态深度搜索智能体学会交错搜索与视觉推理

    多模态深度搜索框架 Neos 通过可训练的多模态证据接口(MEI)将检索内容转化为目标条件观测,并用智能体-环境协同演化流程交替进行策略强化学习与 MEI 监督微调,使证据获取与证据驱动决策形成闭环。Neos-9B 和 Neos-35B 在十项基准上取得专业多模态深度搜索智能体中的领先表现。

  10. arXiv cs.CL31

    研究:文档即图像表示在科学检索中表现不佳,ArXivDoc 基准发布

    一项研究提出 ArXivDoc 基准,基于科学论文的 LaTeX 源码构建,用于比较文本、图像与多模态表示在科学文档检索中的效果。结果显示,文档即图像表示持续表现次优,且随文档长度增加更明显;纯文本表示最有效,即使面对图表类查询也能借助图注和上下文取得优势;交错文本+图像表示无需专门训练即可超越文档即图像方法。

  11. arXiv cs.CL23

    视觉语言模型物理推理的奖励设计:外部奖励与内部注意力奖励对比

    研究对比了视觉语言模型物理推理中的外部奖励与内部注意力奖励:外部奖励(规则化格式与答案正确性检查、LLM-judge 评分)贡献了大部分准确率提升,奖励推理 token 时推理链更连贯。内部注意力奖励无需标注或评判模型,可改善空间关系推理,与外部奖励互补,在 Molmo 2 上以零额外标注成本提升平均准确率并泛化到分布外任务。

  12. arXiv cs.AI49

    腾讯多模态 RL 团队提出 Game-Creation-Agents:从自然语言请求自动生成可运行的 Phaser 4 浏览器游戏

    腾讯多模态 RL 团队提出 Game-Creation-Agents(GCA),可将自然语言请求转化为可运行的 Phaser 4 浏览器游戏。该流水线先构建多模态游戏设计文档,再投影为运行时脚手架、机器可读契约与确定性测试,由八个专用智能体串行实现场景、并行生产素材并合并为单一构建,经真实 UI 检查与代码盲评审后决定是否发布。

  13. arXiv cs.AI40

    让语言成为视觉的低码率编码:从词语到像素的逐级细化

    研究者提出 RUNG,一种有序视觉编码,其前缀由字幕摘要阶梯监督、全长重建图像,将字幕生成与文生图统一为逐级细化过程。在数据与容量固定下,按语言而非重建排序使前缀-字幕信息量提升 2.9 倍,GenEval 从 0.76 升至 0.83,代价是四分之一码长处 PSNR 下降 2.8 dB、全长仅降 0.1 dB。

  14. arXiv cs.AI23

    ReTAC:面向视频空间推理的残差式测试时智能体计算

    ReTAC 是一个免训练的多智能体框架,用于视频空间推理,主张测试时计算应当是"残差式"的:只对基座模型未解决的需求分配额外计算,并在局部失败后仅重算受影响的状态。它通过有序规划获取缺失的空间证据、用阶段对齐验证将失败定位到规划、感知或推理环节,并基于依赖关系恢复。在三个主流 MLLM 和两个基准上,ReTAC 取得对比方法中最高的综合得分。

  15. arXiv cs.AI23

    用 LLM 做跨协议人格评估:CEPA 框架让行为证据与人工评分对齐

    针对异步视频面试(AVI)中不同面试协议问题集与题目-特质映射不一致、人工评分证据无法跨协议复用的问题,研究者提出 CEPA 框架,将源协议行为记录投影到目标协议的构念导向表示空间,并检索行为相关且人格互补的人工评分样例来支撑 LLM 评分器集成,无需目标协议监督。

  16. arXiv cs.CL26

    语言引导实现多语言上下文学习:语言向量方法

    研究者提出"语言向量"方法,通过计算平行语料在特定层的平均激活差异,在推理时对模型隐藏状态施加偏移,无需更新参数即可提升多语言上下文学习效果。该方法在覆盖 19 种语言、3 个模型的 3 项任务上均优于英文少样本提示,且向量呈现可解释的语言结构——相近语言形成紧密聚类,跨任务和跨语言迁移效果更好。

  17. arXiv cs.CL22

    如何设计文本接口提升 LLM 在音视频问答中的推理能力

    研究比较了三种文本接口设计对音视频问答提示词优化的影响:单一 OmniLLM 直接推理、captioner-reasoner 系统,以及由主智能体协调子智能体 OmniLLM 的智能体架构。基于 Qwen3-Omni 和 Gemini 的实验显示,直接提示词优化带来依赖模型的增益,而 captioner-reasoner 与智能体系统虽暴露更可解释的优化接口,却更难优化。

  18. arXiv cs.CL29

    SEA-HELM Audio:评估多语言 ASR-LLM 流水线在 SEA-HELM 各子集上的表现

    SEA-HELM Audio 将文本版 SEA-HELM 基准扩展到语音领域,用合成语音对比中文、英语、马来语、印尼语和泰米尔语五种语言在 ASR-LLM 级联流水线中的语音与文本输入表现。结果显示语音输入带来显著性能下降:多项选择推理准确率下降 9.00 至 18.50 个百分点,指令遵循下降 20.00 至 42.86 个百分点,泰米尔语降幅最大,超过 40 个百分点。