VITAL:面向医疗 MLLM 的视觉-语义双重监督潜在推理框架
VITAL 是一个面向医疗 MLLM 的潜在空间推理框架,通过辅助文本解码器从潜在状态重建推理链、视觉投影器从冻结的独立医学视觉编码器回归 ROI 特征,实现视觉-语义双重监督。
VITAL 是一个面向医疗 MLLM 的潜在空间推理框架,通过辅助文本解码器从潜在状态重建推理链、视觉投影器从冻结的独立医学视觉编码器回归 ROI 特征,实现视觉-语义双重监督。
研究者提出 Stochastic MeanFlow Policies(SMFP),一种一步生成式策略类,将 MeanFlow 噪声到动作映射与高斯重参数化结合,用可学习的条件高斯尺度提供解析熵下界,实现熵正则化镜像下降学习。在七个 MuJoCo 基准上,SMFP 以单步推理取得优于高斯与生成式基线的表现,并在稀疏奖励导航中展现出多模态动作建模与有效探索能力。
研究者提出基于采样的安全强化学习(SBSRL),一种基于模型的 RL 算法,通过对有限动力学样本联合施加约束,在整个学习过程中维持安全,近似原本难以求解的不确定动力学最坏情况优化。
研究者提出 GraphDPO,将 DPO 从成对比较推广到有向无环偏好图,通过图结构的 Plackett-Luce 目标聚合支配邻域监督,并保留 DPO 作为特例。该方法用等价类构造处理并列与不可比回复,缺失边贡献零损失,每提示复杂度保持线性,并可选插入已验证解作为支配节点配合退火调度稳定训练。在推理与程序合成任务上表现优于成对及列表式对齐目标。
研究者将脉冲神经网络(SNN)训练重构为等价的凸优化问题,证明一类阈值 RNN(含 leaky integrate-and-fire SNN)的权重衰减正则化训练问题具有零对偶间隙,且与凸规划最优值相同。
基于 Qwen3.5-9B-Base 的 LensVLM 通过让 VLM 扫描压缩图像、再用学习到的工具选择性扩展相关图像,在 4.3× 有效压缩下保持与全文上限相当的准确率,并在七个文本 QA 基准上以最高 10.1× 有效压缩超越检索式及文本、视觉压缩基线。该方法还可泛化到多模态文档与代码理解任务,压缩越高相对基线的准确率增益越大。
研究者利用壁面湍流的局部结构,在匹配机翼边界层统计特征的湍流槽道流中训练控制策略,无需额外训练即零样本部署到 Re_c=2×10^5 的 NACA4412 翼型上。迁移后的策略降低总阻力 11.1%,优于当前最优的 opposition control(8.9%);计入驱动成本后净节能分别为 10.9% 和 8.8%。代理训练相比直接在机翼上训练,探索效率估计提升四个数量级。
研究发现,在多样性感知的生成模型选择任务中,去掉 UCB 探索项的 Mixture-Greedy 策略收敛更快、样本效率更高,在 FID 和 Vendi 等指标上表现更优。理论分析表明,多样性目标会通过偏好内部混合隐式地探索所有臂,从而带来次线性遗憾保证。该成果已被 UAI 2026 接收。
研究证明,即便在仅含两个神经元 ReLU 网络和两个训练样本的极简二分类设定下,GD 虽能收敛到最优鲁棒性间隔,但收敛速率严格为 Θ(1/ln(t)),极为缓慢。这是首个针对非线性模型鲁棒性间隔收敛速率的显式下界,实证模拟显示该失效模式在多种自然网络初始化下普遍存在且速率一致。
该研究将离线强化学习的理论保证扩展到大规模或连续动作空间上的参数化策略类,突破了PSPI等算法仅适用于有限小动作空间、依赖状态级镜像下降且策略须由critic隐式诱导的限制。作者识别出上下文耦合是镜像下降扩展到参数化策略的核心难点,并通过将其与自然策略梯度建立联系,给出了新的分析与算法洞见,包括离线RL与模仿学习之间出人意料的统一。
研究提出一种偏好条件多目标强化学习框架,结合广义策略改进与PPO,为重型卡车在安全、能耗与时间效率三个冲突目标间学习不同权衡策略。该方法在可扩展的高速公路交通仿真中生成平滑可解释的Pareto前沿,跨交通密度及对比解析基线的评估显示策略捕捉到有意义的权衡,且无需重新训练即可切换驾驶行为。
研究者提出一种将蒙特卡洛采样与线性回归结合的新方法,可用 XGBoost 等任意函数族替代线性回归,并通过交叉拟合产生无偏估计。在八个数据集上,该方法估算 Shapley 值的误差比 Permutation SHAP 低 11 倍、比 Kernel SHAP 低 6.5 倍、比 Leverage SHAP 低 3.4 倍;对更一般的概率值,误差比此前最佳估计器低 390 倍。
UniConFlow 是一个统一约束流匹配框架,可同时处理等式与不等式约束,用于机器人轨迹生成。它引入 prescribed-time zeroing 函数在推理时塑造时变引导场,并提出违规片段提取协议与轨迹压缩方法以应对长时域、高维轨迹生成。
研究者提出 Leverage SHAP,对 Kernel SHAP 做轻量修改,仅需 O(n log n) 次模型评估即可给出可证明精确的 Shapley 值估计。该方法利用 Shapley 值估计与不可知主动学习之间的联系,采用杠杆分数采样。相比 SHAP 库中高度优化的 Kernel SHAP 实现,其误差降低约 50%。该工作已被 ICLR 2025 接收。
IBBench-Light 用同一份外部记录同时测试"执行程序"与"处理文本"两种用法,12 个语义基座生成 144 组配对,4 个量化指令模型产出 1,152 条贪心响应。
H2Table 将复杂表格表示为分层嵌套超图,并设计专用超图编码器在表头与单元格之间传递消息,再通过一组可学习查询向量把结构化嵌入轻量注入 LLM。在 HiTab 数据集上,该方法在嵌套深度为四的高复杂表格上较 SOTA 基线平均提升 22.88%,代码已开源,论文被 EMNLP 2026 主会接收。
Fast LapSum 是一种可扩展的 LapSum 软 top-k 求解器,在保持精确选择质量 k 的同时支持端到端可微。其认证 GPU 实现处理 10^6、10^7、10^8 个分数中位耗时分别为 0.92、1.39、7.24 ms。在百万像素稀疏对抗样本上较 SOTA 方法实现一个数量级加速,并用于 3D Gaussian splatting 减少高斯数量。
研究者提出 MIRROR(Modality-Informed Reciprocal Reasoning Optimization),一种从模型自身不同模态能力中提取跨视图自蒸馏信号的强化学习方法。
研究者提出 Hierarchical Experimentalist Agents(HExA),一个以实验为中心的上下文自我改进框架,可迭代设计并优化查询相关实验、将经验蒸馏为可复用技能,并整合实验证据来行动或作答。
研究团队提出共享评估框架 BenchAgent,用 GPT-4.1 在十个推理、编码与工具使用基准上对比六种多智能体工作流与单智能体基线 BenchAgent Core。
研究者提出 Latent Reward Steering(LRS),一种自适应推理时框架,通过优化隐式承载认知行为的稀疏自编码器(SAE)隐状态来促进推理 LLM 的认知行为。
MAGE(Multi-Agent Graph-guided Evolution)将自知识外化为四子图协同进化知识图谱,经验子图同时存储教师编写的失败修正与学习者自身正确推理轨迹,作为任务条件化指导供冻结执行模型检索。
NeuronSpark 是一种无需自注意力、基于输入依赖脉冲膜动力学的语言模型,每个神经元的衰减率、增益和发放阈值随当前 token 内容自适应调整,从而支持从随机初始化直接进行十亿级预训练,无需骨干迁移、转换或蒸馏。
针对主张集合可能局部合理、两两兼容却整体不一致的失效模式,研究者提出 QXR 自适应诊断与修复框架,将 LLM 视为带噪的集合级一致性判断器,定位最小冲突子集并通过删除小型命中集来修复主张集合。在 VitaminC、FEVER 及冲突证据 RAG 衍生基准上,QXR 比一次性直接判断保留更多有效主张且保持高精度,该工作已被 EMNLP 2026 主会接收。
DeltaLLM 是一个免训练的边缘 LLM 预填充注意力加速框架,通过因果注意力感知的 K-only delta 公式在 GQA 下实现 Delta-Key 跨查询头复用,并配合向量化结构化稀疏在线 softmax(VSSOS)将细粒度分数稀疏转为列级跳过。
SpatialASM 是一个通过训练时空间模拟将主动空间心智化(ASM)内化到 LVLM 的可扩展框架,在覆盖感知导向到跨视角推理的七个空间基准上提升了四种 LVLM 骨干的平均准确率,同时保留原有通用视觉能力。
ReplaySSM 将 SSM 的循环展开为「检查点 + 近期输入缓冲区」,把输出计算与检查点更新分离,从而在多数解码步上避免状态写入,将主要状态内存流量减少约一半。
DUALQUANT 是一个双尺度、免校准的 LLM 训练后量化框架,通过最小化权重重建 MSE 直接得到逐通道激活缩放因子,无需校准数据即可完成激活量化。该方法是首个正式支持 MX 全家族与 NVFP4 等块格式的双尺度量化算法,在 Llama 和 Qwen 上于 WikiText-2、C4 及零样本任务中匹配或超越基于校准的 SmoothQuant。
研究者提出 Orthros 注意力,将效率范式从结构性分配转向相位感知解耦,作为统一模块在序列处理不同阶段动态切换计算模式,实现线性复杂度的预填充与全注意力解码。
研究者提出 Counterfactual Graph Neural Process(CFGNP),一种端到端方法,可直接从观测数据回答反事实查询,无需先估计因果图。
研究者提出 Loopless Variance-Reduced PG(LVR-PG)统一理论框架,抽象出结合递归更新与防御性重要性采样的一阶估计器类,涵盖 PAGE-PG 和 STORM-PG。
研究者提出 Outlier-Aware Attention Linearization(OAL),一种维度感知的二次注意力近似方法,通过分组共享系数并单独处理少数离群维度,在固定头维度下实现相对序列长度的线性时间评估。
在 ARC-AGI-1 上,VARC 与 TRM 的性能受预训练和测试时训练(TTT)预算影响显著。研究交叉测试了五种预训练预算与四种 TTT 预算,发现增加 TTT 样本呈现次数能提升两个模型的 pass@2 指标,而增加 TTT 任务变体数量仅对 TRM 持续有效,VARC 往往在更少变体下表现更好。VARC 在无预训练时仍具竞争力,TRM 则更依赖预训练。
AudioTETRIS 是一个免训练的两阶段音频 token 压缩框架,利用音频编码器的表示几何作为声学先验,在 LLM 解码器各层计算逐 token 融合分数并渐进式 top-k 选择,无需额外训练或辅助模型。
研究者提出 Explanatory World Models(EWM),一种利用解释识别早期事件与最终结果因果关联的信用分配框架,并用前沿语言模型实例化,通过保守的层级算子递归重分配奖励且保持无折扣回合回报不变。
研究将边际成本引入自动驾驶车辆(AV)的自私行驶时间奖励,用多智能体强化学习(MARL)在 Ingolstadt 和 Provins 真实路网中研究混合自动驾驶场景下的路由选择。
一项研究探讨了部分可观测强化学习中是否必须训练循环网络,提出将固定循环网络与可训练非线性输出模块结合的简单架构。在多种记忆需求、观测模态和动作空间的任务上,冻结循环网络可支持数百步的回溯,并取得有竞争力的控制性能,同时可训练参数量不到全可训练版本的一半。结果表明,学习循环记忆模块并非解决 POMDP 的必要条件,冻结循环网络为部分可观测 RL 提供了参数高效且表现强劲的基线,源代码已公开。
研究者提出 Generalized Proximal Policy Optimization(GPPO),一个通过散度视角统一理解和设计 LLM 强化学习算法的框架,PPO、DAPO、DPPO、RIPO 均为其特例。
研究提出多模态大语言模型中的 Evidence Anchoring Boundary(EAB),即视觉残差编辑在解码器逐层施加时干预效果持续衰减的操作起点。在三个模型家族六个 checkpoint 上,EAB 之前留出评估查询的干预效果比之后大 13.78×–26.10×。
研究探讨生成模型能否通过"可编辑性"充当模拟器,即改变模型潜在表示能否产生与编辑模拟器状态相同的下一步输出。作者在离散棋盘游戏 Othello 和自建连续世界 Rayworld 中测试了探针解码与逆映射两种方式,发现哪种映射成功强烈依赖环境:Othello 中可编辑性随游戏简化平滑下降,微小规则改动即产生巨大影响;Rayworld 中探针无法沿模拟器连续状态引导,但逆映射仍能设定模型状态。