多模态基准何在?基础模型识别视频精彩片段的能力研究
研究构建了一个基于公开足球精彩集锦的新数据集,用于评估多模态模型区分比赛中重要与非重要子事件的能力。对比多个 SOTA 多模态模型后发现,它们无法可靠捕捉上下文重要性,倾向于依赖单一主导模态,且难以综合多源信息。研究强调需要能动态适应多模态异质性的模块化架构及促进跨模态协同的训练方法。
研究构建了一个基于公开足球精彩集锦的新数据集,用于评估多模态模型区分比赛中重要与非重要子事件的能力。对比多个 SOTA 多模态模型后发现,它们无法可靠捕捉上下文重要性,倾向于依赖单一主导模态,且难以综合多源信息。研究强调需要能动态适应多模态异质性的模块化架构及促进跨模态协同的训练方法。
论文提出 NeuroFilter,一种基于激活探测的隐私过滤器,用于 LLM 智能体的推理时隐私防护,计算高效且适用于单轮与多轮对话。该工作首次系统性地跨对话轨迹探测模型内部状态,覆盖多种上下文、攻击风格与多个基座模型,并能应对 mosaic attacks 等挑战性场景。
研究者提出类脑架构 NeuroVLA,将皮层视觉语言规划器与递归小脑调制、有状态脉冲脊髓控制器耦合,兼顾语义规划与高频本体感觉反馈。其小脑模块将平均指令抖动降低 75.6%,碰撞恢复率达 54.8%,而所评估的 VLA 基线为 0.0%。基于 FPGA 神经形态处理器的脊髓控制器推理延迟 2.19 ms、每次推理 0.87 mJ,推理功耗约 0.4 W。
PRISM 是一个零样本、免训练的程序性视频摘要框架,仅选取不到 5% 的视频帧即可保留超过 84% 的语义内容,较基线最高提升 7.5%。它通过轻量视觉过滤和动态生成的过程标签作为语义锚点,筛选有意义的帧-标签组,减少传入下游视觉语言描述阶段的视觉输入。该工作在 YouCook2、ActivityNet Captions 及外科手术视频数据集上验证了语义对齐与准确率表现。
研究提出"深度学习外在论"(DLE),认为运算的计算角色不仅取决于其输入输出函数,还取决于产生输入和接收输出的过程。作者在维度标记的 PreNorm Transformer 中证明,两个单射生产者上下文可保留全部前驱区分却改变固定局部与注意力接收器族是否等价,并推导出梯度下降下协方差相关的几何衰减与 Q/K-softmax 训练下的 $(t^{-1/2})$ 衰减。
研究对比人类与四款指令微调 LLM(GPT-4、Gemma-2-9B、Llama-3.2、Mistral-7B)对 240 句对话在惯用性、讽刺、幽默、情感、成语化和 Gen Z 俚语六项语言特征上的评分,表面判断高度一致,但表征相似性模式存在差异,成语化与 Gen Z 俚语尤为明显。
研究者提出 Hiking in the Wild,一个端到端感知式足式跑酷框架,将深度输入与本体感知直接映射为关节动作,无需外部定位与建图。该框架引入 Terrain Edge Detection 结合 Foot Volume Points 的落脚安全机制,以及 Flat Patch Sampling 策略以缓解奖励黑客问题。
GeoMotionGPT 提出一种几何对齐框架,对动作码本与 LLM 嵌入空间同时施加正交性约束,使两者的关系结构自然对应,而非仅靠 token ID 关联。该方法采用带 Gumbel-Softmax 的 decoder-only 量化器实现可微训练与码本均衡使用,并通过稀疏投影将动作码映射进 LLM 嵌入空间,配合两阶段正交正则化调度。
ECLIPTICA 将 LLM 对齐变为指令驱动、运行时可切换:自然语言对齐指令作为显式行为契约,动态调节立场、拒绝边界与详细程度。其 CITA 方法结合 SFT 与对比偏好优化,在 Llama-3.1-8B 上达到 86.7% 指令对齐效率,超过 DPO(56.1%)、GRPO(36.1%)和 PPO(20.4%)。
HERO 是一个分层证据推理优化框架,通过片段级、token 级和补全级三种粒度分别优化推理、诊断和推理依据忠实度,并采用覆盖诊断准确性、推理质量和思考-答案一致性的异构奖励。在 MIMIC-CXR 和 IU-Xray 上,HERO 超越强监督和强化学习基线,达到 SOTA 临床效能,同时生成更多有推理依据支持、思考-答案一致的报告,显著缓解临床幻觉。
该论文已被作者 Ruikang Zhang 撤回,原因是论文经过大幅重构,新版本已提交为 arXiv:2607.26853。原研究提出基于稀疏自编码器的框架,通过受控语义对立的对比特征检索流程,从稀疏激活空间中提取单义功能特征,并以大五人格特质为案例实现模型行为的双向精准调控,同时提出"功能忠实性"效应。
PhyAVBench 是首个系统评估 T2AV、I2AV、V2A 模型音频物理 grounding 能力的基准,包含 25.5 小时、11,605 段视频的 PhyAV-Sound-11K 数据集,覆盖 6 个音频物理维度和 41 个细粒度测试点。
研究定义并测量了 LLM 评测中的三类噪声:同一问题生成不同答案的预测噪声、采样问题的数据噪声,以及依据总方差定律合并的总噪声。作者提出 all-pairs comparison 方法,对 LLM 所有配对做成对比较,基于数百万条问题级预测测量各噪声分量。结果显示多数评测在所有模型对上呈现高度可预测的总噪声水平,且成对预测噪声通常大于成对数据噪声,通过平均降低预测噪声可显著提升统计功效。
研究提出标签伪装防御(LDD),将情感分类的输出标签从 positive/negative 替换为 good/bad、cat/dog 等替代标签,再映射回情感类别,以测试提示注入攻击下的准确率变化。
研究者将概念瓶颈模型(CBM)扩展至视觉异常检测(VAD)场景,提出双分支架构 Concept-Aware Visual Anomaly Detection,在概念级解释之外兼顾像素级异常定位。
UnSAMv2 无需任何人工标注即可在任意粒度上分割一切,仅用 6K 无标注图像和 0.02% 额外参数便显著增强 SAM-2,覆盖交互式、整图和视频分割任务。
研究者提出 Naga,一种受吠陀数学结构概念启发的深度状态空间模型(SSM)编码方法,通过双向处理正向与时间反转序列并经 Hadamard 逐元素交互,增强对远距离时间步依赖的捕捉能力。在 ETTh1、ETTh2、ETTm1、ETTm2、Weather、Traffic、ILI 等长期时间序列预测基准上,Naga 优于 28 个当前 SOTA 模型,且效率较现有深度 SSM 方法更优。
研究者提出免训练开放词汇分割框架 Earth2Ocean,将陆地视觉语言模型迁移至水下领域,无需任何额外水下训练。该工作同时发布首个大规模细粒度水下分割数据集 AquaOV255(255 类、超 2 万张图像)及首个水下开放词汇分割基准 UOVSBench。
ProDER 将智能电网故障类型分类与故障区域定位建模为持续学习问题,在 IEEE 13 节点测试馈线上设计三个类增量与一个域增量场景,平均准确率达 58.2%,比最强对比方法 DPDMR(51.6%)高 6.6 个百分点,仅比联合训练(61.4%)低 3.2 个百分点。
在 NVIDIA A100 上近 1000 次运行四个视觉基准(MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100)的测试显示,去掉反向传播本身并不省电:FF 能耗是 BP 的 4.1x 至 6.3x,CaFo 为 3.0x 至 7.1x。
研究提出基于互信息的确定性启发式方法 Max(MI(S;t)),通过优先预测信息量丰富的目标 token 来组织训练时的目标顺序,在算术推理、多标签文本分类和文本生成任务中常优于标准 NTP 及 reverse order、TF-IDF、条件概率选择等基线。该方法在 GPT 风格模型及预训练 Llama/Qwen 变体上验证,无需改动模型架构或自回归解码。
研究提出免训练、模型无关的批评-精炼框架 PerFine,通过 LLM 生成器与批评 LLM 基于同一用户画像迭代反馈,并用 knockout 策略保留更优草稿。
一项 SoK 研究系统梳理了 272 项 LLM 提示词安全研究,提出越狱攻击、防御与模型漏洞三套多标签分类体系,并发布开源平台 PromptSecurity 及配套数据集 JailbreakDB(445,752 条越狱提示对、1,094,122 条良性提示)和 PromptSecurity-Eval(166,200 条有害查询、9,200 条良性效用记录)。
一项被 TMLR 接收的研究重新审视了尖锐度与模型性能的关系,提出将极小值几何视为依赖函数的性质,而非泛化能力的直接指标。在单目标优化、合成非线性二分类及现代图像分类任务中,研究发现更尖锐的极小值常在权重衰减、数据增强或 SAM 等正则化下出现,并可与更好的泛化、校准、鲁棒性和函数一致性同时发生。作者据此认为,平坦性不应被当作泛化的通用代理,呼吁以函数为中心重新评估极小值几何。
研究者将主动学习的贝叶斯决策论框架扩展至批量场景,为 EPIG 算法推导出部分批次标签采样方法 ParBaLS。实验表明,ParBaLS EPIG 在基于大型预训练模型嵌入的贝叶斯逻辑回归上,于多种数据集和不同预算下均取得更优性能。代码已公开。
研究者对 GPT-4.1 递归抽取的 1 亿条事实知识库 GPTKB v1.5 做了多维分析,发现其事实知识与既有知识库差异显著,准确率明显低于此前 benchmark 所显示的水平。不一致、歧义和幻觉是主要问题,研究据此指出神经符号 AI 在事实知识抽取、整合与验证上的未来方向。
研究者提出 TS-SA,将随机逼近(SA)引入 Thompson Sampling 框架,每轮仅用新观测奖励执行一次 Langevin 更新,并通过 SA 更新融合噪声提议与当前参数估计。
研究者提出 FAMPE(Frequency-Aware Model Parameter Explorer)归因方法,通过独立扰动输入图像的低频与高频波段,并将扰动偏向模型真正依赖的频段,克服了 AttEXplore 全通滤波扰动无法适配模型的局限。
TENET 是一个在测试驱动开发(TDD)范式下进行仓库级代码生成的智能体框架,包含测试套件选择、检索调试工具集和基于反思的迭代改进流程。在 Claude Sonnet 4 上,TENET 于 RepoCod 和 RepoEval 分别达到 69.08% 和 81.77% Pass@1,较最强基线提升 9.49 和 2.17 个百分点。
PPGFlowECG 是一个两阶段框架,先用 CardioAlign Encoder 将 PPG 与 ECG 对齐到共享潜在空间,再用潜在整流流合成 ECG,论文形式化分析表明该编码器是稳定且语义一致生成的必要条件。在四个数据集上的实验显示其合成保真度与下游诊断效用均有提升,有望在无法获取标准 ECG 时支持可穿戴设备优先的心血管疾病筛查。该工作已被 IEEE ICDM 2026 接收。
SciRerankBench 是首个专门评估 RAG-LLMs 系统中 reranker 的基准,覆盖五个科学学科。
研究者提出即插即用稀疏化器 TADrop,依据各参数张量的幅度分布、用尺度不变的分数位比率独立确定保留比例,默认无需数据,也可在有小验证集时做轻量模块级校准。
研究者提出 Role-Conditioned Context Routing(RCR),一种执行时上下文路由层,按角色、任务阶段元数据和 token 预算,从结构化共享记忆中为每个智能体选择性分配相关记忆条目。
研究者提出一种分层强化学习红队测试范式,将红队测试形式化为马尔可夫决策过程,以最大化多轮交互的预期累积危害。其生成式智能体借助 token 级危害奖励学习多样化多轮攻击,可持续发现绕过基线的 LLM 漏洞,并取得新的 SOTA。该工作被 NeurIPS 2026 收录。
研究者提出物理信息机器学习框架 P-DivGNN,将周期性微结构表示为图并结合消息传递图神经网络,在给定宏观平均应力值下重建微观局部应力场。模型在训练中引入物理约束以约束局部应力场平衡态,并采用周期性图表示施加周期性边界条件。在非线性超弹性情形下,该方法相比有限元仿真实现显著计算加速。
研究者提出课程引导的自适应框架 CurAd,通过逐步施加梯度对抗观测扰动并对齐各课程阶段的 TD 误差分布,让鲁棒策略泛化到未见攻击。在动态 3D 障碍的无人机冲突消解环境中,固定 GNSS 欺骗攻击下 CurAd 任务成功率达约 99-100%,最优鲁棒基线仅 20-24%;动态障碍诱导欺骗下其回合奖励最高,任务完成步数中位数最多减少 22%。
研究者提出 RCStat 统计框架,用随机变量 Relative Contextualization(RC)量化注意力机制中一组 token 对另一组 token 的影响,无需重训练即可在推理时估计。
研究提出"共创学习"范式,让人类与 AI 通过 Metropolis-Hastings 命名博弈(MHNG)相互整合各自的感知信息,构建共享外部表征。
研究团队构建了 RegressionBug4APR 基准,包含从真实 GitHub 仓库收集的 200 个 Java 和 Python 回归 bug,用于评估自动程序修复(APR)技术。实验显示传统 APR 工具无法修复任何 bug,而基于 LLM 的 APR 方法展现出潜力;将 bug 引入变更信息作为上下文后,成功修复数量提升 1.6 倍,且在 Java 和 Python 基准上结果一致。
GUARD 是一个基于数据归因的大语言模型遗忘框架,通过轻量级代理归因指标量化 Forget 集与 Retain 集的对齐程度,并按指数衰减为样本分配自适应权重,从而缓解遗忘过程中的意外遗忘。
共 2000 篇论文