跳到正文
10月12日周一
  1. arXiv cs.AI21

    基于强化学习神经架构搜索的高效音视频语音增强

    研究者提出 RL-NAS 框架,用强化学习驱动的神经架构搜索为音视频语音增强(AVSE)寻找紧凑架构,仅评估 35 个候选模型即找到参数量 2.9M 的模型,相比基线 22M 缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升,仅比基线低 0.7 dB,在商用移动 CPU 上实时因子降低 4.3 倍,搜索效率较随机搜索高 92%。

  2. arXiv cs.CL24

    DREAM:面向多模态多智能体辩论的动态分辨率分配方法

    DREAM 通过动态分辨率分配与不确定性引导回滚聚合两项机制改进多模态多智能体辩论,前者用零样本探测轮结合 ANLL 为每个智能体分配最优分辨率,后者追踪各轮不确定性以恢复被群体压力覆盖的低不确定性答案。在六个多模态数据集上,DREAM 无需针对数据集调参,将准确率- token 权衡较基线提升 1.5-3.2% 准确率。

  3. arXiv cs.CL24

    多语言预训练中翻译能力如何发展:先复制,后翻译

    研究者预训练了一个覆盖九种语言的 1.7B 多语言模型,以词级翻译为测试任务追踪翻译能力的早期发展轨迹。结果显示,模型在快速习得基础语言能力的同时进行 token 级复制,翻译则分两阶段发展:初期由复制和表层相似性主导,后期才形成更具泛化性的翻译机制并细化复制。该工作获 EMNLP Main 2026 接收,代码、模型 checkpoint 和数据集均已公开。

  4. arXiv cs.CL24

    用人工智能大规模研究漫画:PAGE 框架与美漫日漫三项研究

    研究者提出 PAGE 框架,用 AI 将每页漫画扫描解析为分镜、文本和书目记录,并以视觉语言模型按书面编码手册逐页标注,再用人工标注校准。该框架在 3,929 本美国漫画(1938–1956)和 87 卷日本漫画上完成三项研究,分别考察政治权力呈现、页面视觉形式与艺术家笔迹识别、以及两种漫画传统中的说话者归属。

  5. arXiv cs.CL15

    UkrMeme:乌克兰语模因中的多模态可解释说服检测

    研究团队构建了 UkrMeme 数据集,包含 200 条乌克兰战时模因并标注说服技巧,同时发布 PTM-UA——Propaganda 950 基准子集的乌克兰语翻译版,保留原始图像内容仅翻译文本。研究在零样本提示下用视觉语言模型(VLM)评测图像、文本和多模态输入,采用分层 F1 指标,并对比 LRP 与模型生成 token 归因两种解释方法所强调的证据语义类别。

  6. arXiv cs.CL31

    S-Space:多模态语言模型中的空间工作区

    研究者发现多模态语言模型内部存在 S-Space 线性表示子空间,物体 token 表示在其中编码水平、垂直和距离三个连续坐标轴,且该子空间是模型固有的,在非空间问题下仍可读取。S-Space 充当内部空间工作区:感知将物体位置编码其中,内部推理可变换视角,语言回答选择性地访问它。研究者还将其用作诊断工具,发现模型能形成空间表示,但在跨视角变换推理上存在瓶颈。

  7. arXiv cs.CL36

    DINOv3 视觉 Transformer 仅凭图像学会词义

    两个最大的 DINOv3 视觉 Transformer 在仅用图像自监督预训练、无配对字幕或语言监督的情况下,能按词义组织图像中渲染的单词。研究者从单词图像与对照图像的嵌入向量差异中提取词表示,发现同行业品牌名、同语义域名词彼此邻近,国家-首都对呈现与文本词嵌入一致的向量偏移。DINOv3-H 和 DINOv3-7B 据称是首个展现出渲染单词显著语义结构的自监督视觉模型。

  8. arXiv cs.CL23

    生成音乐的音频语言评判模型到底在听什么?四项探针与专家评分对照研究

    研究提出四项探针检验开放音频语言模型作为生成音乐评判者时究竟响应音乐、文本提示还是提问方式,并在 MusicEval 全部 2,748 个片段上测试五个开放评判模型。去掉音频后,没有任何评判模型超过仅凭提示词从人类评分预测的水平;成对评判中四个较小模型的结论跟随片段位置而非质量,改写指令对多数模型相关性影响堪比更换评判模型。作者建议每次音乐评判都报告这四项探针结果。

  9. arXiv cs.CL20

    Kairos:面向全模态的字节级基础模型

    Kairos 提出一种字节级基础模型架构,将双向门控 DeltaNet 线性注意力与滑动窗口注意力(LiZAttention2)、块级 Attention-Residual 聚合、稀疏 MoE 前馈层和多尺度字节级编解码器结合,在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上以均匀噪声去噪目标训练。

  10. arXiv cs.CL32

    研究揭示 VLM 空间关系表征弱于词汇先验:EICS 与 CASP-VL 基准

    研究提出 EICS 指标与基于 Visual Genome 场景图构建的 CASP-VL 基准,测试 VLM 在受控单概念干预下表征是否稳定编码概念。结果显示,多种 VLM 架构对空间关系的表征忠实度显著低于词汇信息,即便在组合类基准上得分远高于随机水平。关系在谓词自身 token 处可识别,但经 EOS token 或均值池化聚合为全局表征后即丢失,形成输出评测无法察觉的系统性失败。

  11. arXiv cs.CL22

    CliQ-RRG:临床知识引导的疾病感知视觉-文本对齐,用于 QA 式放射报告生成

    CliQ-RRG 是一个两阶段框架,用于生成可解释、临床可溯源的 QA 式放射报告。第一阶段用疾病感知视觉-文本对齐模块结合预测的疾病嵌入对齐图像与文本表示,并由 Prior-Guided Attention Module(PrAM)捕捉当前与既往扫描的多视图依赖;第二阶段通过 GraphRAG 引导检索引入图结构临床证据,再由大语言模型重构为简洁的问答对与诊断摘要。

  12. arXiv cs.CL37

    MisVisAgentBench:评估误导性图表如何影响 Web Agent 执行的配对基准

    研究者提出 MisVisAgentBench,首个评估误导性可视化如何影响 Web Agent 执行的配对可执行基准,包含 280 个仅在图表证据上有差异的干净—误导配对任务实例。在 13 个视觉语言 Web Agent 上,将干净图表替换为误导性图表后平均任务成功率下降超过 34 个百分点,且失败主要沿目标误导动作分支发生。该基准已被 EMNLP 2026 接收。

  13. arXiv cs.CL37

    无监督多模态奖励建模:冻结 Qwen3-VL 中间层实现无标注偏好训练

    研究提出一种无需人类偏好标注的多模态奖励模型:在冻结的 Qwen3-VL 主干中间层上训练线性头,让网络标题得分高于同一标题的扰动版本,标注数据仅用于选层。该中间层选择比最后一层高 5.8 分,32B 规模下在三个基准上追平或超过 GPT-4o,VL-RewardBench 领先 6.6 分,仅需数千参数和约千分之一微调算力。