Davinci-Tool:用可验证可执行环境扩展智能体工具使用监督
研究团队推出 30B 工具使用模型 Davinci-Tool 及执行锚定数据集 Davinci-ToolData,通过 Execution-Grounded Task Synthesis 与 Executable Environment Synthesis 两条流水线生成 30,395 条已验证轨迹、覆盖 2,260 个工具名。
研究团队推出 30B 工具使用模型 Davinci-Tool 及执行锚定数据集 Davinci-ToolData,通过 Execution-Grounded Task Synthesis 与 Executable Environment Synthesis 两条流水线生成 30,395 条已验证轨迹、覆盖 2,260 个工具名。
研究提出在下载视频前用 LLM 基于元数据预筛候选视频,以降低存储、时间和标注成本。LLM 预筛以四名独立标注者的严格多数投票为基准,并用 Gwet's AC1 验证标注可靠性,同时与两种关键词启发式基线对比。团队通过 LOO 与 AORI 机制评估 LLM 作为虚拟标注者的表现,并报告了相对现有方法的成本对比,实现已在 GitHub 开源。
一项针对句法语言模型(SLM)的大规模实证研究,在最高 1B 参数、100B 训练 token 规模下对比了 12 种配置(1 个终端基线 + 11 个不同线性化与注意力掩码的 SLM 变体),并在 11 个下游任务和两个句法基准上评测。
DTA-GT 是一种基于编码器级方向一致性的方向与拓扑感知图 Transformer,用于神经网络架构的精度与延迟预测。
研究系统考察了渐进式深度增长在 MAE 和 DINOv3 两类自监督视觉 Transformer 中的效果:在全局与稠密任务上,该方法将训练 FLOPs 降低 13.9%–24.8%,ImageNet 线性探测准确率最高提升 3.36 个百分点。增长还改善了中间层表征,并重塑内部计算模式——MAE 中出现全局与局部注意力反复交替,自蒸馏 DINOv3 中局部到全局注意力的过渡提前出现。
InfoVis 是一个统一的 9B 幻灯片生成与编辑模型,基于 FLUX.2-klein-base-9B 做幻灯片专项后训练,在 VisSlideBench 上以 7.94 总分领先所有参评开源模型,接近 Nano-Banana-2 的 7.99。
研究者提出 TabWM(Tabular World Model)与 WorldRel 世界生成器,让模型无需更新参数、仅以观测执行序列为上下文,即可预测新动作引发的稀疏结构化编辑。在 512 个留出世界上,完整编辑 F1 从无观测执行时的 0.016 提升至 64 次执行时的 0.685。由于预测结果是显式关系编辑,可递归推演候选未来并比较动作,更广的搜索提升了所选动作序列的实际回报。
研究提出 Distill-SFT 方法,将答案与推理依据合并为单一训练目标,在巴西葡萄牙语住院医师考试题上仅用更少训练样本,就在此前推理答错的题目上略优于逐步蒸馏。
DFK-Former 是一种集合到场的 Transformer,可从稀疏、含噪且不规则采样的三维观测中重建无散度速度场,并直接预测无散度核表示参数,单次前向即满足不可压缩性。相比逐场无散度核优化,其端点误差最多降低 4.6 倍,单场重建耗时 7.5 ms 而非 9.8 s,提速超过三个数量级。研究还引入自适应各向异性无散度核,并在真实 DNS 湍流数据上完成迁移验证。
REEL 是一个通用视觉记忆规划器,通过统一工具接口学习检索参考、生成缺失视觉证据并更新持久记忆,配合后端专用适配器可将同一策略用于不同黑盒视频生成器。训练分三阶段:监督微调、单镜头 GRPO 和多镜头 GRPO,后者跨连续镜头传递策略生成的记忆。
AeroChem 是一个闭环物理信息状态空间框架,用于化学反应性空气质量预报,采用 UDE 过程分支与 Mamba 虚拟测量分支的双分支协同校正设计,并通过 Neural Kalman Fusion 在每步预报中校正潜物理状态并反馈回模拟器,以缓解长时程漂移。
MixLID 是一个支持 111 种语言-文字组合的 token 级语言识别模型,采用两阶段训练:先用语料中的单语标签学习区分各语言,再在混合语言数据上继续训练,第二阶段数据由现有语码转换样本与基于英文源词和借词对应关系做词替换生成的增强样本拼接而成。
研究者提出统一多模态信号协调框架 UMSH,将不同受试者与来源的异构 EEG 和 iEEG 记录整合进同一癫痫发作分类流程,并用基于 cGAN 的数据增强缓解类别极度不平衡。该框架以 EEGNet-ViT 作为特征提取与分类网络,同时学习局部判别模式与全局上下文信息,实验验证了其在鲁棒癫痫分类上的有效性。
PatTransBench 是一个包含 12,000 条中英/日/韩专利机器翻译(PatMT)评测基准,含 6,000 条短文本与 6,000 条长文本句对,按 IPC 分层采样并覆盖三个语对的双向翻译。
pi-Net 是一种物理信息潜变量模型,通过编码器将输入映射到物理归一化潜空间,再由可微物理头解码输出,用于解决将量纲分析引入有向计算图时产生的欠定系统问题。在数据稀缺的 GMAW 案例中,仅用 60 个实验样本即达到 R2 0.864,显著优于纯数据驱动基线,并提供因果、过程级的可解释性。
GrowRL 是一种通过结构生长把强化学习更新组织为紧凑计算通路的 RL 方法:冻结预训练主干,在每层 Transformer 新增独立的因果注意力分支和前馈网络分支,仅更新这些新增通路。
研究者提出 Spectrum-Aware Latent Expert Merging(SLEM),一种无需校准数据的专家合并框架,在 VAE 构建的专家权重结构化潜表示中完成合并。
PatMT2 用两阶段 LoRA 流程将专用翻译模型 Hy-MT2-7B 适配到中英日韩四语专利翻译,在六个翻译方向上 Stage-2 checkpoint 的宏平均 BLEU 达 43.39(BF16)至 43.57(AWQ INT4),较 Hy-MT2-7B 基线最高提升 +8.8 BLEU,并超过 Qwen3-32B 及若干外部系统。
StructZO 是一个结构化零阶优化框架,通过在激活诱导的信息子空间内进行大查询 ZO 估计并施加谱控制,将有效 ZO 估计维度从 mn 降至 mr。在 OPT 系列和 Llama3.1-8B 上,它平均相对最强 ZO 基线提升最高 8.7%,单项任务最高 26.9%,与一阶 Adam 平均差距在 1.5% 以内。
ARMED 是一个自适应临床 RAG 框架,可根据检索充分性和当次就诊相关性动态扩展检索,在证据不足时选择性执行补充或回退多查询检索。该框架引入相关性门控,仅激活临床相关的同一患者病史,并将证据组织为结构化的查询级临床证据。在 MIMIC-IV 上的实验表明,ARMED 持续优于此前的静态检索基线,并提升药物推荐质量;它结合本地可运行的小语言模型,无需依赖外部语言模型 API 或任务特定微调。
研究用监督变分自编码器(SVAE)从 787 名 15-25 岁青年的 DWI 结构连接组中提取潜空间特征,覆盖 82 个 Desikan-Killiany 图谱 ROI,用于性别分类。将 SVAE 学到的潜空间特征输入多种机器学习模型后,多层感知机取得最高 80% 的分类准确率。该工作展示了 DWI 脑连接组与深度学习区分性别的潜力,并为未来纳入跨性别个体的多样化人群研究铺路。
研究者提出 Boundary Proximity Index(BPI)分析框架,用于评估 Forward-Forward 学习及其变体在分类准确率之外的表现。实验发现,未训练的卷积神经网络线性探针准确率已远超随机水平,而靠近决策边界的误分类样本比深陷错误决策区域的样本更容易被"拯救"。该框架在七种 Forward-Forward 变体上验证,揭示了不同方法在拯救深度嵌入错误区域样本上的显著差异。
FlexLMV-Net 是一个乳腺级别的纵向多视角框架,可联合建模 CC 与 MLO 视角并显式对齐纵向特征图,支持可变数量的历史筛查检查。在 EMBED 和 CSAW-CC 数据集上,该模型在乳腺密度、癌症亚型及人口统计亚组上均优于现有方法。研究同时开源了统一单/多时间点风险预测模型预处理、训练、推理与评估协议的基准。
BehaviorFormer 将下一 token 预测 Transformer 与深度聚类算法 DCSS 结合,在 26 名玩家的受控 Minecraft 会话中发现 23 种可跨玩家泛化的行为模式,并归为 stationary、roaming、travel、mining、base work、logging、farming 七类可解释类别。
SLDBench v2 将缩放定律发现场景从 8 个扩展到 127 个,覆盖语言模型预训练、下游性能和视觉语言迁移,并从中选出 30 个参考幂律拟合 R² ≤ 0.8 的挑战场景。
针对深度搜索智能体蒸馏中"教师对某些实体过于熟悉导致监督信号偏弱"的问题,论文提出轻量门控信号 SEF,在实体入图前直接询问教师是否熟悉该实体。
AutoNovo 用智能体程序搜索迭代地提出、执行、评估和修改核酸设计器代码,其设计器在 3/3 个 DNA 设计任务的 in-silico 性能上取得所评估方法中的最佳均值,并在 6/6 个独立模型迁移任务上表现最佳。这些设计器来自一个被发现的设计器家族,而非单一通用最优设计器,团队计划发布这些设计器。
GenRevisit 是一个智能体框架,将动作选择扩展为联合的延续状态与动作选择,让智能体可从交互历史中挑选图像候选再编辑,而非固定从最新图像继续优化。该框架采用 SFT 加智能体强化学习训练,并提出 Normalized Action Credit Assignment(NACA)解决 GRPO 中轨迹级优势分配过粗的问题。
EventLens 是一个以视觉为中心的强化学习框架,通过事件结构恢复来训练视频理解,涵盖事件分割、进程判别和多事件关系推理三类可验证任务,并可用确定性奖励进行 GRPO 训练。在 Qwen3-VL 骨干上,该方法在时间定位与事件敏感推理基准上取得一致提升,同时保持通用视频问答性能。研究还提出多教师在线策略蒸馏(MT-OPD)将多个专用策略整合为统一模型,训练成本显著低于直接混合 RL 优化。
研究揭示 Fisher 信息可刻画神经网络如何在泛化与记忆之间分配容量。在 CIFAR-10 上训练的视觉模型中,将权重投影到 Fisher 特征向量顶部可解耦通用任务性能与噪声样本记忆,且该效应在不同层表现各异。相同现象在小 Transformer 的合成上下文学习任务及可解析线性模型中均得到复现。
研究团队提出 WildTrace,一个面向真实大规模后训练场景的训练数据检测基准,覆盖 SFT、DPO、RL 各阶段模型,并针对四类任务构建分布匹配、成员标签可验证的评估集。结果显示,表现最好的检测方法平均 AUC 仅 0.529,接近随机猜测的 0.5。分析还表明,评估协议会显著影响检测性能的测量结果。
研究团队与领域专家合作构建了香港消防安全规范的本地化基准数据集,包含选择题和开放式问题,用于评测 12 个主流闭源与开源模型。表现最好的闭源模型在选择题上达到 80-90% 准确率,开源模型普遍落后;但在开放式评测中,专家人工评估显示准确率仅为 50-70%,表明 LLM 在专业合规任务上仍有较大提升空间。
论文提出将隐性知识建模为记忆基底 VaCoAl 的一种运行机制,而非某类内容。VaCoAl 是基于 GF(2) 的代数确定性 XOR-and-shift 超维记忆,以 CASRAM 和 PyVaCoAl 实现;其 DAG 有 Rescue 与 Don't Care 两种读法,后者产生路径积分置信度 CR₂,形成"审计—估值互补"。
研究者将自回归解码的每步预测误差定义为采样 token 指示变量与模型条件预测分布之差,证明其累积误差过程关于解码滤波是鞅,条件一阶矩恒为零。该鞅序列的可预测二次变差可化简为 $\sum_t(1-p(y_t\mid y_{<t}))$,仅凭已实现的 token 概率即可计算。在 Llama-3.x 与 Qwen2.5 系列(1B 至 72B 参数)上的白盒实验显示,实测二阶矩与理论预测高度吻合。
研究追问逐层训练后量化中,各层补偿前层继承误差在何种假设下能保证网络输出误差不增大。对任意深度线性网络,在校准 Gram 矩阵可逆、每层舍入误差条件均值为零且两种方案共享确定性二阶矩映射时,强度固定在 [0,1] 的补偿可给出不劣于无补偿的均方输出误差。
AutoSec-RAN 通过两阶段 LoRA 微调 Mistral-7B-Instruct,并选择性结合 RAG 检索,实现 O-RAN 测试的自动化安全分析。
arXiv 论文发现,用依赖刻板印象的礼貌回答微调语言模型,会让模型在无关任务上更不安全、更不真实,即出现涌现性失配(EM)。该效应在四个 7B 至 12B 开源权重模型家族、性别与种族刻板印象以及多次重复训练中均成立,且学到的刻板印象在模型激活中有独立方向,可被控制与监测。
研究者提出 RINO(Renormalization Group DIstillation with NO Labels),首次将高能喷注形成的多尺度重整化群结构作为自监督学习的视图来源,用不同层级聚类构建跨能标的教师-学生表示,并以 DINO 式自蒸馏对齐。
研究者提出 CodeTriage,一个 0.6B 参数的学习型策略,在生成和测试修订代码前,先读取测试输出、失败诊断和候选编辑,预测该编辑达到修复所需的修复步数分布,从而对多个程序的待处理编辑统一排序。
研究将冻结的 V-JEPA2 特征迁移至 RGB 视频、深度视频与雷达时间序列等异构传感器,用带模态查询、固定传感器槽位和显式可用性标记的共享融合模型,从全部七种非空传感器子集识别呼吸活动与姿态。