MagiC:评估多模态认知的视觉推理基准
研究者推出 MagiC 基准,用于评估大视觉语言模型是否真正进行有依据的视觉推理,而非依赖表面模式与数据集偏差。该基准包含约 5,500 条弱监督 QA 样本和 900 条人工精标样本(含答案、推理依据与边界框标注),在四个维度上评测了 15 个 7B 至 70B 参数的视觉语言模型,并引入 MagiScore 与 StepSense 新指标。
研究者推出 MagiC 基准,用于评估大视觉语言模型是否真正进行有依据的视觉推理,而非依赖表面模式与数据集偏差。该基准包含约 5,500 条弱监督 QA 样本和 900 条人工精标样本(含答案、推理依据与边界框标注),在四个维度上评测了 15 个 7B 至 70B 参数的视觉语言模型,并引入 MagiScore 与 StepSense 新指标。
针对多模态持续指令微调中投影器与语言模型非对称适配导致的表征漂移和灾难性遗忘问题,研究者提出兼容路由 CART,为两个模块分别维护任务专属专家并通过加权混合组合,同时考虑专家相关性与跨模块兼容性来联合推断权重。CART 还引入相关性引导的专家合并机制以控制模型规模增长,实验显示其达到 SOTA 性能。
研究团队提出 OmniVerifier-C1,将传统只输出 True/False 的二值视觉验证器改为自动把复杂提示词或环境规则拆解为细粒度子问题并逐项打分的分级验证器,输出连续且可解释的评判信号。
DropKV 是一种基于解耦残差输出扰动(Decoupled Residual-Output Perturbation)的 KV-Cache 淘汰框架,通过将联合淘汰决策拆分为独立的逐 token 打分,绕开 NP-hard 组合难题,并在锥条件下提供可证明的常数因子近似保证。
研究提出用集合级强化学习目标训练 LLM 生成多样化科学创意:模型一次生成 K 张结构化创意卡片,每张创意的质量按其与前面创意的距离加权,从而学会让新创意远离已有创意。
PROBE(Policy Rule Observation via Behavioral Exploration)是一种训练 LLM 审计器的算法,让审计器以真实用户身份与已部署智能体进行多轮、工具介导的对话,主动探测策略违规。
MindEval2 是一个用于评估语言模型心理健康支持能力的框架,包含与 PhD 级心理学家合作开发的 Mental Health Quality Rubrics(MHQR)评分标准和结合患者画像与工具、带记忆组件的 MindSim 患者模拟器。
研究者提出 Shared Residual Distillation(SRD),一种 on-policy 自蒸馏方法,让模型直接从自身未经正确性验证的同侪轨迹中学习,通过对比同侪相对对照组对预测分布的调整,保留方向一致且幅度保守的修正。
研究者推出 Grid-Bench,一个可执行基准,用二、三、四维网格表示离散世界,让模型在给定初始网格、显式规则和文本事件历史后预测完整最终网格。评估六款 LLM 显示,随着历史变长,完整状态准确率急剧下降,单事件表现相近的模型出现明显分化。参考执行使每个预测值可核验,从而在空间操作、历史长度和工作负载间直接比较。
针对多模态大模型在图文联合解读时出现的意图级风险,研究者提出 SAFE-PRO,利用结合预测熵与跨模态风险分数的 Risk-Conditioned Uncertainty(RCU)信号,判断何时提出安全澄清问题、何处应用路径优化。
研究区分了语言模型中的"活跃事实"与"惰性事实":前者支持超出自身回忆的泛化,后者只能被回忆。在11个语言模型和70个关系上,原始关系在预训练表示中的线性可读程度强烈预测微调后的泛化能力,关系间相关系数达 Pearson r = 0.87 至 0.92,且该关联在控制微调样本数、答案数、原关系准确率及预训练词频后依然成立。
Prism-1 是一种让 System One 决策模型同时满足位置无关与 Luce 选择公理的读取方式:每个选项在共享位置的独立 block 中读取,一次前向完成。
研究者构建了 AI Consilium 基准,用 300 个 NEJM-MedQA 病例(110 个用于医生参考评分与 Judge 校准,190 个用于留出评估)检验 LLM 的临床多学科二次意见能力。
研究者提出 FAOP(Functional Agent Operating Procedures)形式化理论,将 AI 智能体工作流重构为基于作用域状态的类型化函数,并定义四级渐进范式:分解(FNF-1)、类型化(FNF-2)、因子化(FNF-3)与作用域化(FNF-4)。
研究提出用扩散语言模型进行多目标少样本提示,让示例引导共享画布中多个掩码区域的填充,以解决因果自回归模型难以同时利用左右上下文的问题。团队还通过对画布选择性掩码推导似然比奖励,偏好有示例支持的填充结果。在少样本提示基准和软件重构案例中,示例提升了填充准确率,示例引导在多个设置下带来进一步增益。
研究者提出 PRM4RL 框架,将复杂任务分解为可管理的子任务,并设计子任务导向的细粒度进度函数来监控执行进度,再基于势能奖励塑形构造进度奖励模型(PRM),提供最优性与收敛性理论保证。在机器人控制任务上,该方法优于基于 LLM 的规划与奖励方法,达到 SOTA,论文已被 NeurIPS 2025 收录,代码已开源。
研究以中文纠正构式"不是 X,而是 Y"为切口,用基于 Gricean 语用学的决策树将用法分为实质性、可选与缺陷三类。五款商用模型使用该构式的密度是人类参照的 2.5 至 9.2 倍;307 条标注用例中仅 1.30% 属缺陷,52.8% 属"正确但非必要"的可选用法,说明模型在适切性上的不足远多于正确性。
研究者提出 GraphACM,一种基于图的框架,通过将同一任务多次 rollout 中的等价状态合并为有向动作标注图,在共享决策状态上比较动作,实现细粒度行为一致性度量与不确定性量化。
研究提出 FEB-30 基准,用 30 条事实演化轨迹(覆盖 6 个诊断类别、3 个难度等级)直接检验智能体记忆存储,而非以下游问答准确率作为代理。
CARA 是一种免训练的因果引导检索智能体,通过"结果性"(加入证据是否提升可答性)与"必要性"(移除证据是否削弱可答性)两项因果相关性标准评估检索到的证据,并结合路径一致性与倒数排名融合聚合多智能体证据。在三个 STaRK 数据集上,CARA 持续优于现有检索器,同时提升答案质量与忠实度,且检查的图节点和检索操作更少。
研究团队提出 Hy-Memory-30B-A3B,一个跨 Mem0、MemOS 和 Hy-Memory 训练的紧凑型长期记忆写入模型,通过 Memory On-Policy Distillation 学习各框架写入协议,再用 Memory RL 结合分块探针、跨块归因奖励与 chunk 级 GRPO 优化下游可答性。
OntoAct 是一个基于本体抽象的假设驱动神经符号框架,将个体经验转化为实体类型、关系与条件上的公理,由 LLM 提出假设与动作、符号验证器依据当前观测核验其成立条件。
研究定义并系统考察了 LLM 文本评分中的"量表敏感性",即评分量表设计导致的分数变化,并将其区分为归一化分数变化的数值敏感性与分数解读变化的语义敏感性。
CoWorld Reasoner 是一个以视频世界模型(VWM)为统一视觉推理引擎的智能体框架,通过 Video World Model-Driven Harness 以工具形式暴露多种视觉操作,并用技能引导 VLM 决定是否想象、选择操作、构造生成请求并解读视觉证据。
针对现有智能体强化学习仅假设单会话轨迹、与上下文压缩和子智能体分叉等推理时执行方式不匹配的问题,研究者提出多会话智能体强化学习设置及 Mosaic 方法,采用无 critic 的分层优化,在轨迹层引入会话使用信号、在会话层按估计边际贡献调整优势。在 BrowseComp 上以 Qwen3.5-4B 测试,Mosaic 在上下文压缩和子智能体分叉场景均优于广播式方法,且平均使用会话数更少。
RoleQ 是一种按 Transformer 单元功能角色而非权重矩阵布局来放置缩放因子的量化框架,无需搜索、校准或存储状态。在 0.6B 到 14B 的多个模型家族中,其三值量化困惑度较基于布局的方案最多降低一半,而按行缩放会让 MMLU 跌至随机水平。
研究者提出 Lexical Reference Frames,通过模型自身剩余层读取隐藏状态,为每个隐藏状态构建原生参考框架。在 SmolLM3-3B 和 OLMo3-7B 中层深度,一阶框架 LexFrame[1] 一致性达 0.97,远超固定透镜的 0.30 和 0.35,读取状态与模型输出仅差 0.16 nats。
论文提出 CIM-Embed 框架,通过监督对比学习让模型将图像、文本与指令直接映射为嵌入向量,再由 HDBSCAN 在无需真实簇数的情况下完成聚类划分。
研究提出 CLUE 两阶段训练流程,将监督式证据推理与由 Grounded Information Utilization(IU_G)引导的 GRPO 结合,让模型自行发现对话中的关键线索。
受人类记忆机制启发,研究者提出增量学习框架 Co2In,采用工作记忆与长期记忆协同的双层架构,通过知识编码、巩固与整合实现高可塑性与稳定性的平衡。在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 的无样本 Class-IL 与 Task-IL 设置下,Co2In 取得 SOTA 性能且内存消耗高效。该工作已被 IEEE TPAMI 接收。
EMO 是一个无需训练的测试时计算框架,受 EM 算法启发,交替进行问题特定的上下文估计(E 步)与分布精炼(M 步),通过外部评判模型的文本梯度修正系统上下文,并利用上下文引起的 logit 位移构建置信度约束的 logit 修正。
RSIFlow 是一个递归自我改进框架,将自适应工作流编排与元智能体能力进化相结合,通过任务-智能体轨迹和环境反馈诊断性能瓶颈,动态选择组件级改进工作流。元智能体将工作流结果蒸馏为组件级技能与跨组件原则,进化自身 harness 以优化后续编排。在六个基准和两个骨干模型上,RSIFlow 在所有基准上取得 SOTA 平均性能,消融实验验证了自适应编排与元 harness 进化的贡献,代码已开源。
研究者提出 PremiseSQL 基准,包含 1800 条存在前提缺陷的 NL2SQL 查询及对应的 1800 条原始查询,覆盖四类前提失败,用于评估模型识别缺陷查询并拒绝生成误导性 SQL 的能力。实验显示,前沿 LLM 默认高度信任前提、很少批判缺陷前提;强化批判导向的提示词虽能提升检测与拒答,但也会增加误判无效并抑制对原始查询的 SQL 生成。
研究者提出 PhysClosureBench,包含 50 个经专家验证、目标明确的研究任务,覆盖强场、阿秒及邻近物理领域,用 20 项 Atomic Score 衡量局部科研成果,并以 Research Closure(RC0–RC4)评估研究问题的完整解决程度。
Intern-Decision 是一组 0.8B、2B、4B 多模态决策模型,可从文本和可选图像输出结构化选项及候选概率,其自回归掩码语言建模目标在每个字段放置一个决策占位符,全部字段在单次因果前向传播中完成评估。
DeciCAD 是一个面向 CAD 领域的原生 harness,通过暴露语义 CAD 动作、决策导向观测与环境反馈,从交互轨迹中提取因果决策监督,并用 SFT 与几何接地的在线 RL 训练动作策略。
研究提出对 MoE 大语言模型做个性化适配,在三个开源权重 MoE LLM 上训练 crosscoder,识别出编码不同个性化特征的专家。个性化后的 MoE 模型仅激活部分参数即可与稠密 LLM 表现相当,多义性更低,且因果干预显示这些潜在特征足以复现个性化模型行为,不同个性化特征对应不同路由路径。
研究者提出上下文偏好条件化 Pareto 集学习框架 ICPSL,通过在大量合成先验数据上预训练基础式超网络,使其在给定未见问题的离线观测后,单次前向传播即可生成该问题的偏好条件化 Pareto 解模型。生成的模型可复用于任意偏好预测解,无需针对具体问题训练或逐偏好搜索,在合成与真实问题上均生成高质量 Pareto 解并大幅加速问题特定解模型的构建。
针对多变异体混合语料造成的“变体碎片化”问题,研究者基于 70,000 对多变异体数据,将 mT5-large 专精化到墨西哥 Santa Ana Tlacotenco 所说的 Nawatl 变体 Masewalkopa(nhn)。
研究团队提出 Data World,一个多智能体引擎,通过先定义文件背后的世界机制再生成文件,合成环境、任务与评分标准,并产出 DataWorld-Bench(50 个留出世界、16 个领域、100 个任务)及 1,037 个世界的 2,135 个训练任务。
共 2000 篇论文