多模态大模型为何读不出"眯眼文本":SquintBench 基准与 Squint OPSD 方法
多模态 LLM 会读不出图像粗结构中的文字(即"眯眼文本")并声称图中无文字,研究者为此构建了 1076 张生产环境审核图像的 SquintBench 基准。
多模态 LLM 会读不出图像粗结构中的文字(即"眯眼文本")并声称图中无文字,研究者为此构建了 1076 张生产环境审核图像的 SquintBench 基准。
研究提出多模态大语言模型中的 Evidence Anchoring Boundary(EAB),即视觉残差编辑在解码器逐层施加时干预效果持续衰减的操作起点。在三个模型家族六个 checkpoint 上,EAB 之前留出评估查询的干预效果比之后大 13.78×–26.10×。
针对现有视频编辑模型难以按专业动作名称生成正确动作的问题,研究者提出多模态智能体 MotionCoach,通过多轮工具调用与自我验证生成提示词和参考片段,为视频编辑模型注入外部专业动作知识。
JoyInside-VLM-Agent 是一个 ReAct 风格多模态智能体,通过产品条件轨迹构建与分阶段策略学习训练,在 BFCL v4 上取得 77.44 总分,超过所评估的基线。
研究者提出 RL-NAS 框架,用强化学习驱动的神经架构搜索为音视频语音增强(AVSE)寻找紧凑架构,仅评估 35 个候选模型即找到参数量 2.9M 的模型,相比基线 22M 缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升,仅比基线低 0.7 dB,在商用移动 CPU 上实时因子降低 4.3 倍,搜索效率较随机搜索高 92%。
研究针对毫米波系统中感知辅助波束预测的高能耗问题,开发了脉冲神经网络(SNN)架构,并与传统人工神经网络(ANN)在位置、视觉及多模态输入下系统对比。
针对长程多模态任务中 RLVR 效果不足的问题,研究者提出 AdaC-GRPO,通过在线 rollout 准确率追踪模型的"最近发展区"来动态构建训练批次。
VETR 是一个面向符号图形推理的智能体框架,通过保留程序与渲染对齐记录,并用执行精炼器将运行时写入和状态变化编译为受约束的替代程序,实现递归自改进。
研究者提出 GeoSpatialBench,一个基于六座城市真实城市数据、覆盖 28 种拓扑/方向/度量/排序关系的空间认知基准,涵盖 GeoJSON 与地图图像两种模态,用于评测 MLLM 从空间关系理解、几何推理到受限空间编辑的能力。
该方法在仅有 N~100–500 对配对样本、两侧无配对数据充足的条件下,将每个表示表达为与 N 个配对锚点的相似度,把两种模态放入同一坐标系,并用一个在全部数据池上求解的熵最优传输问题匹配两个点云,其边缘约束可抑制最近邻匹配中的 hubness 问题。
DREAM 通过动态分辨率分配与不确定性引导回滚聚合两项机制改进多模态多智能体辩论,前者用零样本探测轮结合 ANLL 为每个智能体分配最优分辨率,后者追踪各轮不确定性以恢复被群体压力覆盖的低不确定性答案。在六个多模态数据集上,DREAM 无需针对数据集调参,将准确率- token 权衡较基线提升 1.5-3.2% 准确率。
研究者提出 TokenSwap,通过将文本概念替换为语义对齐的图像,构建视觉 token 与文本 token 交错的输入,并把 MMLU 等文本基准改造成 TokenSwap-Bench。
研究者预训练了一个覆盖九种语言的 1.7B 多语言模型,以词级翻译为测试任务追踪翻译能力的早期发展轨迹。结果显示,模型在快速习得基础语言能力的同时进行 token 级复制,翻译则分两阶段发展:初期由复制和表层相似性主导,后期才形成更具泛化性的翻译机制并细化复制。该工作获 EMNLP Main 2026 接收,代码、模型 checkpoint 和数据集均已公开。
研究者提出 PAGE 框架,用 AI 将每页漫画扫描解析为分镜、文本和书目记录,并以视觉语言模型按书面编码手册逐页标注,再用人工标注校准。该框架在 3,929 本美国漫画(1938–1956)和 87 卷日本漫画上完成三项研究,分别考察政治权力呈现、页面视觉形式与艺术家笔迹识别、以及两种漫画传统中的说话者归属。
研究团队提出 OccludeBench 基准,用于评测视觉语言模型(VLM)从残留视觉线索中还原被完全遮挡物体的能力,并区分需依赖阴影、倒影等物理线索的"直接"案例与依赖场景上下文的"推断"案例。
研究团队构建了 UkrMeme 数据集,包含 200 条乌克兰战时模因并标注说服技巧,同时发布 PTM-UA——Propaganda 950 基准子集的乌克兰语翻译版,保留原始图像内容仅翻译文本。研究在零样本提示下用视觉语言模型(VLM)评测图像、文本和多模态输入,采用分层 F1 指标,并对比 LRP 与模型生成 token 归因两种解释方法所强调的证据语义类别。
研究者发现多模态语言模型内部存在 S-Space 线性表示子空间,物体 token 表示在其中编码水平、垂直和距离三个连续坐标轴,且该子空间是模型固有的,在非空间问题下仍可读取。S-Space 充当内部空间工作区:感知将物体位置编码其中,内部推理可变换视角,语言回答选择性地访问它。研究者还将其用作诊断工具,发现模型能形成空间表示,但在跨视角变换推理上存在瓶颈。
研究者提出 PRISM(Population-Retrieved Inference for Structured Multimodal Prognosis),一种融合逐特征数值 token 化、纵向 ECG 近因加权聚合与双模态人群记忆库的多模态语言模型,检索在表示空间进行,不将单条记录写入提示词。
两个最大的 DINOv3 视觉 Transformer 在仅用图像自监督预训练、无配对字幕或语言监督的情况下,能按词义组织图像中渲染的单词。研究者从单词图像与对照图像的嵌入向量差异中提取词表示,发现同行业品牌名、同语义域名词彼此邻近,国家-首都对呈现与文本词嵌入一致的向量偏移。DINOv3-H 和 DINOv3-7B 据称是首个展现出渲染单词显著语义结构的自监督视觉模型。
研究提出四项探针检验开放音频语言模型作为生成音乐评判者时究竟响应音乐、文本提示还是提问方式,并在 MusicEval 全部 2,748 个片段上测试五个开放评判模型。去掉音频后,没有任何评判模型超过仅凭提示词从人类评分预测的水平;成对评判中四个较小模型的结论跟随片段位置而非质量,改写指令对多数模型相关性影响堪比更换评判模型。作者建议每次音乐评判都报告这四项探针结果。
KnowForge 用角色分工的智能体流水线做开放域多模态文档问答:Locator 只负责搜索,桥接裁判强制补上第二跳,Deep Reader 只读文本、图像和表格。
GeoGR 是一个两阶段框架,通过 GeoSemZip 将跨视角观测整合为 3D 体素 token 并在 LLM 层用 GroupRoute 跳过低相关 token,联合压缩 3D 场景表示与视觉计算。
MVGraph 是一个评估大型视觉语言模型(LVLM)多图推理能力的基准,包含 8k 个实例、覆盖 8 项图论任务,抽象自部分视图与时间视图两类多图场景,每道题均经程序化构造并验证无法从单一视图求解。
研究提出跨境身份固化诊断框架 TIODF,对比直接事实提问与开放式叙事提问,测试 GPT-5.1 和 DeepSeek-V3.2 在英文和中文下对中国西南边境九个跨境族群的表征。
Kairos 提出一种字节级基础模型架构,将双向门控 DeltaNet 线性注意力与滑动窗口注意力(LiZAttention2)、块级 Attention-Residual 聚合、稀疏 MoE 前馈层和多尺度字节级编解码器结合,在文本、图像、音频、视频、激光雷达和控制流共享的单一字节空间上以均匀噪声去噪目标训练。
研究提出 EICS 指标与基于 Visual Genome 场景图构建的 CASP-VL 基准,测试 VLM 在受控单概念干预下表征是否稳定编码概念。结果显示,多种 VLM 架构对空间关系的表征忠实度显著低于词汇信息,即便在组合类基准上得分远高于随机水平。关系在谓词自身 token 处可识别,但经 EOS token 或均值池化聚合为全局表征后即丢失,形成输出评测无法察觉的系统性失败。
CliQ-RRG 是一个两阶段框架,用于生成可解释、临床可溯源的 QA 式放射报告。第一阶段用疾病感知视觉-文本对齐模块结合预测的疾病嵌入对齐图像与文本表示,并由 Prior-Guided Attention Module(PrAM)捕捉当前与既往扫描的多视图依赖;第二阶段通过 GraphRAG 引导检索引入图结构临床证据,再由大语言模型重构为简洁的问答对与诊断摘要。
研究者提出 MisVisAgentBench,首个评估误导性可视化如何影响 Web Agent 执行的配对可执行基准,包含 280 个仅在图表证据上有差异的干净—误导配对任务实例。在 13 个视觉语言 Web Agent 上,将干净图表替换为误导性图表后平均任务成功率下降超过 34 个百分点,且失败主要沿目标误导动作分支发生。该基准已被 EMNLP 2026 接收。
研究提出一种无需人类偏好标注的多模态奖励模型:在冻结的 Qwen3-VL 主干中间层上训练线性头,让网络标题得分高于同一标题的扰动版本,标注数据仅用于选层。该中间层选择比最后一层高 5.8 分,32B 规模下在三个基准上追平或超过 GPT-4o,VL-RewardBench 领先 6.6 分,仅需数千参数和约千分之一微调算力。
vemb 是一款 Windows 命令行工具,可在本地为文本、图像、音频、视频和 PDF 生成嵌入向量,用于语义搜索和 RAG 流程。它要求 Windows 10 或 Windows 11,首次安装需联网,通过 `vemb embed myfile.pdf` 这类命令处理单个文件或整个文件夹。
nezumi-ai 发布 v2.4.0,这是一款在 Android 上完全离线运行的本地 AI 聊天应用,支持 Gemma 4 2B/4B 与 Gemma 3n 端侧推理,也可切换 Claude、Gemini、OpenAI 兼容 API、LM Studio、Ollama 等云端引擎。
Colmena 是一个基于 Pollinations 的多模型 AI 工作室,支持 30+ 文本模型(含 GPT-6、GPT-5.5、DeepSeek、Grok、Kimi、Mistral、Llama、Qwen,付费 Pollen 账户可用 Claude 和 Gemini),按消息用自有 Pollen 付费,无订阅、无服务器、无广告、无追踪。
Drishti 将孟加拉语节目转化为统一的语义时间线,用于广告智能、字幕、隐藏式字幕与 QC,仓库包含 Next.js 16 前端和 FastAPI 后端。上传内容经持久化缓存的 18 阶段流水线处理,广告决策按硬约束→安全→节奏→品牌安全→品牌契合排序,并输出内联 VAST 的 VMAP manifest。
Cloudflare 于 2026 年 10 月 9 日发布开放权重决策模型 Clef-omni,可在一次调用中对文本、图像、音频和视频打分。
Project Axiom 是一个用 C++23 和 NVIDIA CUDA 从零编写的裸金属多模态 AI 引擎,不依赖 Python 框架,宣称实现 100% Tensor Core 饱和、亚毫秒级 prefill 延迟和零延迟 PCIe DMA 流式传输。
LoLLMs 发布 v2.3.0 "HeartBeat",提供多用户 FastAPI 后端与 Vue/Tailwind CSS 前端,基于 lollms_client 接入多种 LLM 后端并支持流式响应。
SPITE 是一个开源的 AI 影像制作工作台,提供节点式无限画布 Canvas 和线性提示词生成模式 Flow,桌面与移动端均可用,用户自带 API key 并直接向服务商付费。
数学家 Kate Stange 与 Edmund Harriss 撰文讨论数学插画能否严谨,并回顾了 GPT-6 Astra 在 Ioannis Tsiokos 提示下发现首个三维非周期单密铺 Chair44 的过程:Tsiokos 分享了 61 页论文,Chaim Goodman-Strauss 随后将其提炼为围绕匹配箭头图示的 8 页经典层级证明。
vLLM Semantic Router 团队发布 Decision 3.0 系列开源多模态决策模型,含 d3-lite(0.85B)到 d3(26.09B)共 5 个尺寸,全部采用 Apache-2.0 许可。
NeuroBrix 发布通用深度学习推理引擎,用同一套 CLI 和 .nbx 容器格式运行图像、视频、LLM、视觉语言、多模态、TTS、STT、语音理解和超分共 9 类模型家族,无需针对模型写专用代码。