CoverSynth:面向检索评估集的覆盖率引导生成方法
CoverSynth 是一种从无标注语料出发、以覆盖检索需求和系统能力为目标的检索评估集生成器,通过确定性检查定位证据引文、模型检查评估语义有效性来保证 ground truth 可靠。
CoverSynth 是一种从无标注语料出发、以覆盖检索需求和系统能力为目标的检索评估集生成器,通过确定性检查定位证据引文、模型检查评估语义有效性来保证 ground truth 可靠。
研究者提出 τ-Emotion-Bench,一个覆盖十个领域、在保留任务目标前提下用情绪条件化用户交互评测工具调用智能体的基准,并配套可扩展的数据生成管线 Tracer。实验显示前沿智能体在情绪变化下仍不可靠,平均任务成功率与稳定完成率之间存在明显差距;Tracer 生成的监督信号可持续提升不同规模 Qwen3 模型,并迁移到 τ-Bench 与 τ-Trait。
可验证指令遵循基准只看约束满足,前沿模型可凭几乎无实质内容的回答拿满分,用同一验证器作训练奖励会引发奖励黑客。为此提出 CALIF,用冻结参考策略在仅给定请求下评估回答似然,加入校准似然奖励,无需额外评判器或奖励模型。
一项实证研究用 1.7B、8B、27B 的 Qwen 模型在确定性工具工作流中对比不同状态表示下的监督学习与迁移表现。H16 交叉实验中,紧凑视图训练的 1.7B 适配器在紧凑视图下完成 50/50 留出任务,全状态视图下为 0/50,8B 适配器对也呈现类似不对称。27B ScienceWorld 研究中紧凑状态训练在两种视图下均提升局部准确率,表明迁移模式依赖任务与观测构造。
针对大型音频语言模型(LALM)后训练带来的性能提升,受控实验发现这些提升大多并非来自音频理解与推理能力的真实进步:即使没有有效音频信息,提升依然存在,而一旦更换问题格式,提升便基本消失。这表明后训练更多是让模型利用任务特定的文本线索和答题模式,而非习得可泛化的音频理解与推理能力。
研究利用 PhotoMappers 十余年众包灾害影像,结合街景(SVI)与遥感影像(RSI)做跨视角地理定位,并评估视觉语言模型的地理推理能力。融合 VGI、SVI、RSI 与 Sinkhorn 重排序后达到 40.90% R@1、61.10% R@5、69.45% R@10,但年度 R@1 在 25.00% 至 65.07% 间波动。
该研究用 Weighted Stochastic Block Model(WSBM)替换 Echo State Networks(ESN)中的随机网络,构建反映潜在功能子回路的储备池,并引入 Input Dynamical Similarity Analysis(InputDSA)分离结构先验对内在循环动力学与外部输入的影响。
ActICL 通过两阶段后训练让 MLLM 智能体以工具增强推理自主获取 ICL 上下文,在七个基准和三个 MLLM 上平均性能比标准相似度检索提升 11.6 个百分点,比最强先前基线高 4.4 个百分点。其获取的上下文也可供前沿模型使用,GPT-5.6-Sol 进行 4-shot ICL 时性能比标准检索提升 3.5 个百分点。
在内存受限的本地部署场景下,用较小或压缩后的模型并行生成多个候选答案、再借助公开或模型自生成的测试筛选,可恢复因模型规模或压缩损失的大部分准确率。7B Qwen 模型八次并行尝试在 MBPP+ 上基本追平 32B 模型,在另外三个代码生成基准上超过它,同时模型内存占用约少 4 倍、速度最高快 6 倍、能耗更低(基于 Nvidia GPU 实测)。
一篇 arXiv 综述提出双轴分析框架,梳理多模态智能体记忆:轴一关注信息如何形成与表示(模态嵌入、文本与结构化记录、潜在与参数化表示),轴二将记忆管理分为 T1 静态记忆、T2 动态记忆和 T3 自演化记忆三层。文章据此归纳出在源保真与抽象之间平衡、维护时间有效性与来源、以可恢复证据支撑记忆使用、以及随时间演化记忆策略等设计原则,并讨论未来挑战。
VLX-Go 是一个视觉-语言航点策略,通过视觉-语言对齐、多模态推理中期训练和跟踪专项训练的多阶段流程,在 19,532 条 oracle 轨迹上训练,将干扰物跟踪成功率从 OmTrackVLA 的 41.54% 提升至 55.80%。
TRACE 是一个在生成过程中追踪有害响应风险、选择性编辑 token 激活并留下可审计痕迹的框架,通过学习激活模式码本将每个 token 激活映射到潜在概念,并用 GRU 预测完整响应有害性与单调累积流式风险。
MultiFlow 是一个基于条件流匹配(CFM)的生成式 fMRI 编码框架,提出 Stimulus-Informed Source Flow Matching(SISFM),用可学习时间卷积和方差头将源分布以刺激为条件,缩短期望传输路径。
研究者提出"竞争目标测试",用于检验激活引导向量是否真正控制目标行为。在开放权重模型上,康德义务论与行为功利主义的引导向量在留出情境中使两个框架得分同向变化,且差异未达有效边界,说明二者共享了大部分方向——即"应用某种框架"的通用请求。相比之下,乐观与悲观语气的向量共享方向要少得多。
研究者提出 SuperAI 跨架构多模型融合框架,通过正交对齐低维任务相关表征,将多个源模型的互补能力注入宿主模型。在 3 个宿主模型、15 个能力域上的实验显示,SuperAI 的平均领域得分高于所评估的跨架构融合方法,且随源模型数量增加能更好地保留通用能力。消融实验验证了正交对齐、非线性残差映射与联合监督的有效性。
研究分析了 Guide Assisted GRPO 在长程 LLM 智能体任务中的课程设计,考察初始位置、交接单元和移动规则对无辅助任务完成率的影响。在 BFCL 上跨三种模型规模,固定轮级阈值下从接近完成处起步更有效;更细粒度的交接本身帮助不稳定,但基于结果信息的工具调用选择在已训练和未训练任务类别上均优于 GRPO。引导式起步在 AppWorld 两个评测划分上也提升了成功率。
针对 LLM 结合 RAG 做可穿戴传感器人类活动识别时在线推理候选与知识开销随活动词表增长的问题,研究者提出 CHEAR,将知识组织部分转移到离线:从跨受试者反复出现的检索错误中构建并验证活动层级,并建立活动对知识。
研究者提出反事实门控支撑分解(CGSD),一种四臂、预算匹配的实验设计,将门控效应拆解为支撑内选择、支撑间再分配及二者交互项。在韩英与韩日检索任务上,支撑内选择是唯一超出校准零假设区间的成分(+29.7 与 +5.6 保留项,30/30 正向重复),模型置信度阈值门控也复现该模式(+27.3 项,9/9 正向)。该方法可避免将支撑再分配误读为样本级门控质量。
OntoAR-HAR 是一个本体引导的智能体 RAG 框架,结合静态群体知识与个性化记忆,用于基于传感器的人类活动识别。其树状活动本体将分类分解为语义相关活动间的局部决策,静态库提供节点约束示例,离线发现的可执行信号特征提供数值证据,推理时个性化库收集用户观测数据。跨被试与异构传感实验显示,分层检索与个性化记忆在多个 LLM 主干上带来互补增益,达到 SOTA 性能。
研究者发布 ListQA 基准,包含 9,045 道人工校验问题(错误率 1.7%),要求 LLM 回忆多个事实并组织成 3-10 个元素的结构化列表。基准测试 34 个模型后发现,最佳标准推理模型 LLM-Judge-F1 低于 37%,提供源 Wikipedia 页面可大幅提升分数,表明模型能组织事实但难以仅凭参数检索。数据集与评估代码已开源,论文被 NeurIPS 2026 接收。
针对低比特量化会损害推理模型长链思维的问题,研究者提出训练后量化方法 RECAP,通过动态前缀校准和前缀读取几何,在模型实际读取的历史上下文上校准量化误差。在 W4A4KV4 设置下,RECAP 使 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上准确率较基线提升 13.3 个百分点,Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。
ClinEdge 用 32 个真实脱敏临床病例、7 个前沿多模态系统共 224 次专家评分评测,发现所有系统表现均差且失败模式趋同。评测由一名资深骨科外科医生对全部 224 条回答按加权评分表打分,再由 19 名医生独立复核每个病例与每条评分。
研究者提出 Into the Unknown 基准,给智能体一篇科学论文和一个研究方向,要求其撰写后续论文。他们与 US Department of Energy(DOE)国家实验室的科学家合作,由后者提供各自工作中未发表的后续方向及投稿必须满足的条件,并据此形成评分标准。
MoMaTune 提出"Model、Match、Tune"两阶段后训练策略,解决解码器语言模型在数值数据上的监督不足问题。在 169,285 条记录、340 个输入字段中 339 个为数值的八个公开数据集上,1.5B 参数下 Model 阶段将掩码值填补聚合分数从 0.106 提升至 0.401,正确上下文增益从 0.058 升至 0.167。
研究者提出 DivAlgo 基准,包含编程问题的算法多样化解法数据集,并引入轻量级相似度指标以支持大规模评估。对 24 个现代代码生成模型的实验显示,模型无控制生成的代码多样性仅为人类的约 31%,最佳多样化策略也只能达到约 70%。模型虽可被引导按人类策略生成解法,却无法复现人类解法的多样性。
研究提出用教育测量中的证据中心设计(ECD)框架来规范 LLM 教育应用的提示词工程,将学生模型、证据模型和任务模型映射到提示词设计组件,并据此推导出五条设计原则。在自动评分任务上,ECD 设计的提示词与 SOTA 提示词基线进行了实证对比,结果显示将提示词视为测评设计而非非正式指令,可提升 AI 生成教育输出的效度、信度与公平性。
研究者推出 MA-Bench,基于军事作战规划第一步"任务分析"构建,包含 10 个专家场景、10 至 12 份文档和 1,257 条专家编写的通过/失败要求。在二十个前沿与开放权重模型中,最佳模型仅答对 62% 的评分项,文档中明述事实正确率 58%,需推断的判断仅 33%,六成失败属于遗漏而非错误。
研究者提出 Words to World 基准,让 LLM 通过控制连接机械臂、摄像头和传感器的 harness 系统,在真实物理环境中完成闭环交互任务。该基准考察模型的具身感知、动作规划、工具选择、空间推理与反馈纠错能力,实验发现模型存在幻觉状态变化、异常恢复差、长程规划不稳定等失败模式。
Plant Memory 将技术语言处理(TLP)应用于 SAP PM 工单导出,构建 ISO 14224 对齐的维护本体,每条抽取事实都带置信度、证据来源和验证状态。
LayerTrim 是一种免训练的结构化剪枝方法,通过识别冗余解码层并选择性裁剪其 MLP 特征,同时保留注意力和解码深度,在不使用梯度或恢复训练的情况下维持长文本推理能力。
研究通过探测注意力头发现,统一 VLM 在 T2I 与 I2T 生成中均存在对条件变化敏感与不敏感的两类注意力头,该功能分化模式跨样本稳定。基于此提出免训练推理干预方法 HeadTuned-CFG,在注意力头级别选择并调优条件引导,在两种生成方向上均取得一致收益,T2I 生成较强基线提升显著。
一篇综述系统梳理了面向空间推理任务微调预训练多模态大语言模型(MLLMs)的方法,涵盖监督学习到强化学习,重点关注所用数据集。研究将相关工作分为数据集设计、数据集构建与评估三类,并归纳出规则模板、LLM 提示、程序化生成和人在回路四种固定空间标注构建方法。评估方面存在评分方法、容差指标和基准类型的显著差异,未来方向包括统一动态标注、高效空间推理、评估标准化、扩展空间范围与以人为中心的空间交互。
HarnessNet 提出面向多智能体系统的分层 Harness 演化框架,其基本单元 Agentron 由可演化的 forward harness、基础模型和仅能观测并修改该 harness 的本地优化器组成,Agentron 通过分层图反向传播环境反馈。
研究团队提出 GUI 定位数据集 ScreenRef 与 Distillation-to-Reinforcement Learning(D2RL)方法,基于 Qwen3-VL-8B-Instruct 经 SFT 与 D2RL 顺序训练得到 GroundGUI-8B。
arXiv 论文研究循环深度语言模型在运行时减少循环次数对安全性的影响。在训练深度一半时,Ouro-1.4B-Thinking 仍能解出 0.692 的 GSM8K 数学题,保留 89% 准确率,但协助有害请求的比例从 0.038 升至 0.205,高出 5.3 倍。
研究提出 RFDPO(Reflective Feedback-Driven Prompt Optimization),通过追踪恢复(错变对)、退化(对变错)和 churn(所有结果变化)来引导提示词迭代,并记录优化过程中的提示词改动。
SocraticRepair 是一个规划引导的苏格拉底式辅导框架,用于程序调试与错误概念修复,通过在四个预处理编程数据集构建的合成多轮辅导对话上微调 Qwen2.5-Coder-7B-Instruct 实现。实验显示,该框架在逐步引导和提问质量上得分更高,并大幅减少过早泄露答案的情况,但可靠的教学计划生成仍是待解难题。
研究将谱图粗化方法 CMG 用于热启动 Particle Polynomial Relaxation(PPR),在 t2g20(n=400)上平均达到最优解的 97.5%、最佳运行 98.4%。
研究基于 NASA 衍生的 BioSim 月球栖息地模拟,测试仅负责维持人类生命的 AI 操作员能否被延迟提示注入诱导关闭生命支持系统。攻击者无法伪造传感器或操作设备,只能说服智能体放弃目标,且需在操作员注视下维持关闭状态。
研究利用 Pythia 和 OLMo 的中间检查点,在 teacher-forcing 评估下追踪 LLM 跨训练步与模型规模的语言习得过程。结果显示模型习得形态结构远早于语义嵌入稳定,训练数据集规模对分歧识别有正向影响,而预训练中的共现与推理时的重复则产生负面影响。