多模态 LLM 的 Evidence Anchoring Boundary:视觉干预在哪里有效、何时有用
研究提出多模态大语言模型中的 Evidence Anchoring Boundary(EAB),即视觉残差编辑在解码器逐层施加时干预效果持续衰减的操作起点。在三个模型家族六个 checkpoint 上,EAB 之前留出评估查询的干预效果比之后大 13.78×–26.10×。
研究提出多模态大语言模型中的 Evidence Anchoring Boundary(EAB),即视觉残差编辑在解码器逐层施加时干预效果持续衰减的操作起点。在三个模型家族六个 checkpoint 上,EAB 之前留出评估查询的干预效果比之后大 13.78×–26.10×。
研究探讨生成模型能否通过"可编辑性"充当模拟器,即改变模型潜在表示能否产生与编辑模拟器状态相同的下一步输出。作者在离散棋盘游戏 Othello 和自建连续世界 Rayworld 中测试了探针解码与逆映射两种方式,发现哪种映射成功强烈依赖环境:Othello 中可编辑性随游戏简化平滑下降,微小规则改动即产生巨大影响;Rayworld 中探针无法沿模拟器连续状态引导,但逆映射仍能设定模型状态。
LeWAM 是一个端到端 JEPA 控制模型,联合训练下一隐状态预测与动作流匹配,并对隐状态施加各向同性高斯约束,使单一模型既能直接执行策略,也能用学到的隐动力学评估采样动作进行规划。
研究团队构建了 WZDrive-Data 多模态数据集,包含 33 名驾驶员在施工区段的 1,183 段驾驶记录,通过人在回路驾驶模拟器采集驾驶员控制与注视信号。其提出的多模态轨迹预测器 WZDrive 实现 minADE (K=6) 1.09 m、minFDE (K=6) 2.12 m,相比各指标最优基线分别降低 7.18% 和 13.18%。
研究者提出 Kronecker Product Attention(KPA),将 key 和 value 激活表示为紧凑、依赖 token 的矩阵因子的 Kronecker 积之和,在四个模型规模和九个下游基准上与 TPA、MHA、MQA、GQA、MLA 持平或更优,同时实现最高 10x 的 KV cache 压缩。
研究者提出 CircuitTree,一种基于 Θ(N log N) 树形组合调度的数据结构,可将任意多个电路组合进单一模型,克服了此前朴素并集方法的局限。他们将从 HuBERT 中剪枝出的音素分类电路组合成音节分类器,这是 39 个音素电路单独都不具备的能力。
研究针对毫米波系统中感知辅助波束预测的高能耗问题,开发了脉冲神经网络(SNN)架构,并与传统人工神经网络(ANN)在位置、视觉及多模态输入下系统对比。
研究团队提出 VLA 推理框架 IG-VLA,让模型在视觉表征空间中想象任务相关的未来场景演化,并通过 Scene Gist Memory 将推理得到的场景-行为关联内化为紧凑的 Scene Gist Token,从而在推理时跳过显式未来想象。
研究者提出 HOA(Humanize Olympiads Agent),一个通过独立评审、结构化 wiki 和 Lean 证明验证三条反馈通道协调多个智能体会话的开放流程级框架。
针对 RLVR 训练中的"零奖励坍缩",研究者提出多智能体框架 MENTOR,实时诊断失败根因并动态生成教学提示,引导学习智能体下一次尝试。MENTOR 可作为即插即用模块接入 GRPO 等策略优化流程,无需改动训练基础设施。在数学与代码生成任务上,它优于现有基线,在 Llama-3.2-3B-Instruct 上相对基座模型平均提升最高达 78.3%。
研究提出 Step-wise Truncation Probing(STP),沿固定采样推理轨迹反复从多个保留前缀生成答案,并据此定义 Overthinking Ratio 与 Accuracy Degradation,用于刻画模型-任务层面的过度思考程度。
研究者提出 SqueezeBench,一种抗饱和的数学能力评测基准:每道题固定一个仅小 n 已知取值的整数函数 f(n),提交需用 Lean 函数给出可机器验证的上下界证明,成功即抬高门槛而非移除题目。基准发布十个极值组合学问题与二十个已证初始记录;基于前沿语言模型的智能体在每题最多一小时限制下被接受 82 次提交并改进全部记录,两个更新模型的智能体又改进 20 个记录中的 19 个。
研究者提出 Rollout-Time Intervention(RTI),在 rollout 阶段利用奖励侧证据(评估 rubric)将错误轨迹转化为成功轨迹,为策略自身难以解决的任务提供学习信号。
研究在 COLLIDE-2V(7.5 亿事件、HL-LHC 真实条件模拟)上评估监督与自监督神经嵌入策略,以学习潜空间中自编码器的重构误差作为异常分数,监督目标整体优于自监督,最佳配置在 10% 背景接受率下对所有留出过程的信号效率均超过直接基于运动学特征训练的自编码器。
针对长程多模态任务中 RLVR 效果不足的问题,研究者提出 AdaC-GRPO,通过在线 rollout 准确率追踪模型的"最近发展区"来动态构建训练批次。
RoleWorld 是一种符号化世界建模方法,用可复用原型加环境专属参数值构成的功能角色抽象,来表示物体在交互中的行为方式。教师 LLM 从交互轨迹中提取角色原型、基于角色实例的可执行转移规则,以及指导 actor LLM 决策的技能;在目标环境中 actor 无需教师,通过交互主动检验角色实例假设并在线修正角色分配与参数,不更新 LLM 参数、转移规则保持固定。
针对 LLM 生成的工业场景程序"可执行但工程不可行"的问题,研究者构建了含 1,749 个可构建场景、每个场景 94 项最终状态几何检查的数据集,并提出 VIGOR,将监督式场景程序生成与执行验证、分阶段几何精修结合。VIGOR 达到 96.86% Complete Feasibility 和 91.20 的 Overall 分数,Overall 较最强基线高出 10.42 分。
研究者提出一种两阶段能力感知框架,用于 LLM 多智能体系统(MAS)的自动编排:先建模 LLM 主干对当前查询的任务条件能力,再据此调整角色激活与通信图。该方法在六个基准上平均得分 93.81%;对高能力主干,平均准确率从 87.22 提升至 89.97,同时 token 成本降低 36.26%;对低能力主干,较现有方法平均再提升 4.58 分,该趋势在未见过的主干上同样成立。
针对百万 token 级长上下文下差分隐私推理效用严重退化的问题,研究者提出记忆引导框架 DP-MIND,通过本地扰动输入、分块处理并用紧凑记忆保留任务相关信息,将差分隐私推理扩展至百万 token 上下文。该框架用强化学习直接在扰动输入上优化记忆构建策略,并以本地去噪模块恢复被扰动破坏的答案片段。在多个长上下文基准上,DP-MIND 在可扩展性与效用上均优于现有差分隐私及长上下文推理基线。
研究提出一种黑盒因果测试,通过 CLAP 相似度定位音频证据区域并用频谱门控移除,在三个 LALM 上以 2x2x2 网格对比随机窗口。在 Qwen2-Audio-7B 上,定位消融的原始 AUROC(0.613)低于 blank 波形(0.721),但这是时长混淆所致;固定时长后定位在每个网格单元均优于随机移除。
研究在 ALFWorld 与 AndroidWorld 两个场景、五类智能体、4500 次任务执行中评估 Jev 对决策效率的影响,发现 Jev 显著降低决策成本与延迟,但任务级收益因工作流而异。ALFWorld 任务成功率接近基线,两个移动端智能体成功率明显下降,辅助推理与额外交互吸收了决策节省,失败恢复与过早完成限制交付,某智能体单次尝试成本下降但每个成功结果的平均成本反而上升。
SWEAR 是一个难度感知的音频推理框架,通过离线评估生成五维难度分数与压缩推理轨迹,在监督微调中学习难度信号,并用强化学习在不同推理阶段自适应分配推理量。在 MMAU-test-mini 和 MMAR 上,SWEAR 在提升准确率的同时大幅减少生成 token,对简单样本缩短推理且不损失困难样本表现。
研究将 LLM 安全失效重构为通路问题,在 18 组 Base-Instruct 模型对(覆盖 Qwen、Llama、Gemma)中发现,有害性更易从注意力更新中解码,尤其在前层,而 MLP 更新在对齐模型中更强地参与有害选择性拒绝写入。
LongHarness 是一个模型无关的 Agent 框架,通过证据与结论协同演化以及证据生命周期管理,让检索聚焦于尚未解决的信息需求,避免无界探索和证据状态漂移。
研究者发布 MathVis 基准,用 512 个任务评估 LLM 可视化前沿数学问题并进行图示辅助推理的能力,每个任务包含数学陈述、参考图、可执行 TikZ 或 SVG 代码、Gold IR、原子评分细则和错误码。
研究者提出不确定性引导的渐进收缩框架,通过蒙特卡洛推理树暴露过程级不确定性,将教师生成的 CoT 语料先收缩为紧凑池,再在 SFT 中按学生学习状态在线路由优化。在多种推理基准和 LLM 家族上,该方法仅用全量数据 SFT 0.22% 的优化预算、训练曝光减少超 450 倍,仍保持或提升推理性能,并可跨异构学生模型、黑盒教师和弱到强迁移泛化。
研究提出"协作学习"方法,通过模型切片将大模型替换为参数量相当的异构小模型,让先前的推理能在不同参数化下被重新评估,并用金字塔监督结合协议蒸馏与步骤级监督优化协作决策。在多跳问答、数学推理、代码生成和开放式约束生成四类任务上,训练后的异构模型性能达到或超过原大模型及多智能体基线,推理效率更高。
研究提出 Language as Supervision(LaS),通过学习到的投影将神经特征与自然语言类别描述对齐,并用候选文本原型进行分类。在视觉、运动与语音解码的七种编码器架构上,LaS 将语音解码准确率较匹配的 CLS 基线最高提升 17.15 个百分点,并支持候选集复用与标签监督的受试者、会话适配。
Seq-Drifting 提出一种对连续 token 表示序列施加漂移的框架,直接学习从高斯噪声到文本的映射,在推理时一次前向传播即可联合生成全部 token。该方法在 LM1B 上一步生成达到 36.01 的生成困惑度,并在无条件与条件生成、翻译、摘要和推理任务上展现竞争力。
研究者提出 Collaborative Theory of Mind(CToM)框架,让 LLM 先起草回复、预测用户将如何回应,再据此在给出答复前完成内部修订,训练时将用户对每版草稿的回复作为预测目标,并结合 GRPO 优化任务表现与交互效率。
研究提出单元级、正交、线性三层嵌套的模块化框架,并通过选择性消融进行因果评估,发现视觉模型、语言模型和多任务 RNN 虽缺乏单元级模块化,却常在子空间层面呈现清晰的功能模块化。在视觉与语言模型中,内容与风格、句法与语义在子空间消融下分离,且这些子空间与脑数据的对齐方式各异。该分解还能在 RNN 中恢复任务间的双重分离,为机制可解释性提供支持。
EvoBelief 是一种自我进化的世界模型,将环境知识表示为可证伪假设,通过意外结果和决策相关未知触发假设生成,经独立验证后才用于预测与规划,语言模型本身保持冻结。
针对 RLVR 数据中约 88% 问题在固定策略与 rollout 预算下全部答对或全部答错、形成零优势陷阱的问题,研究者提出递归数据合成算法 MagicBeanStalk,通过自顶向下分解与自底向上递归,将种子问题扩展为策略与预算校准的新训练题。
一项预注册的等预算对照研究显示,在 2048 次候选调度评估的预算下,MCTS 调度方法比无搜索树的随机重启列表调度差 2.88%(95% CI [-3.62%,-2.15%])。
EliteTable 是一种由 LLM 引导的自改进程序搜索算法,用固定容量的高分方案表来指导新提案、已有方案编辑与多方案重组。在六个 Gymnasium 控制任务上各进行十代搜索、每代五十个候选槽位,六项任务的候选分数中位数均从第一代到末代上升,五项任务的选中优胜者搜索分数中位数上升;CartPole-v1 中十次搜索的优胜者均在第一代达到搜索分数上限。
针对现有 FP4 RL 方法分别优化训练与 rollout 路径量化精度、未直接缩小两条量化执行路径差异的问题,研究者提出 TRACE 框架,用 rollout 侧量化结果引导训练侧 FP4 舍入决策,并缓存深层尾数与 scale 信息以降低存储和通信开销。
DREAM 通过动态分辨率分配与不确定性引导回滚聚合两项机制改进多模态多智能体辩论,前者用零样本探测轮结合 ANLL 为每个智能体分配最优分辨率,后者追踪各轮不确定性以恢复被群体压力覆盖的低不确定性答案。在六个多模态数据集上,DREAM 无需针对数据集调参,将准确率- token 权衡较基线提升 1.5-3.2% 准确率。
Google 等机构研究者提出 ResidencyRL,一种通过模拟多轮临床问诊(每条轨迹最多 60 轮对话、8 次工具调用)训练临床 AI 智能体的强化学习方法,奖励对齐诊断准确性、管理质量、沟通、文书与安全。
arXiv 论文提出一套提示注入防御的发布前审计框架,利用微调过程中的中间检查点作为优化型攻击的起点,无需防御方自行发明新的 SOTA 攻击。作者用 GCG 和 BEAST 等优化型攻击实例化该框架,将针对当前最先进防御的攻击成功率从接近零提升到最高 96%,暴露出此前评测遗漏的弱点。
研究在五个诊断数据集(轴承振动、过程监控、半导体设备)上测试 LLM 能否可靠利用外部诊断信息,结果所有数据集中冲突的外部信息都推翻了 LLM 原本正确的判断。