无需额外训练即可超越 Jev:开放决策模型的简单微调方案
研究者发现,开放指令微调语言模型无需额外训练,仅通过读取最后一个 token 位置输出 logits 中 A、B、C 等字母的概率,即可实现与 Jev 相当的决策性能。
研究者发现,开放指令微调语言模型无需额外训练,仅通过读取最后一个 token 位置输出 logits 中 A、B、C 等字母的概率,即可实现与 Jev 相当的决策性能。
对 BitNet b1.58、Falcon-E 和 BitCPM 三个实验室的三值语言模型导出流程审计发现,文档化的 bf16 转换会大幅回退微调效果:Falcon-E-1B-Base 的 GSM8K 严格准确率从 58.79% 降至 0.78%。
ResizeCO 是一种无标签规模泛化方法,通过强化学习(适配 GRPO,以路径长度为训练信号)在大规模实例上微调小规模训练的扩散模型,并将 k-opt 建模为树搜索、用 GPU 上的 beam search 求解。
面向安全场景的 Jev 风格决策模型家族 SecJev 发布,参数规模覆盖 0.8B 至 9B,可从文本、遥测数据和观测历史中学习布尔、选择与有序决策。其中 SecJev-0.8B 在任务宏平均准确率上比通用 Kev-9B 高出 20.51 个百分点,0.8B 与 4B 版本在准确率和延迟接近仅答案生成式微调的同时,峰值 GPU 显存占用更低。
研究者推出 ChemExplain,一个从 383 篇同行评审论文中构建的 1180 道多选题化学基准,每题给出分子或反应图像、观测到的化学效应和四个候选解释,要求模型完成"解释性归因"。基准由多智能体框架自动构建并经八位化学领域专家验证,最强模型准确率为 78.6%;在 600 题专家复核子集上,该模型 71.4% 的错误被归类为归因失败。
研究者提出一个计算社会科学框架,将语义与图度量结合为可解释的组织指纹和时间画像,用于描述组织关联文本的集体语义分化与变化。基于1997至2023年间四家K-pop娱乐公司126位艺人的1,289首歌曲,仅三项新颖性度量在艺人层面呈显著差异,多样性、连通性度量及公司—社区富集大多不显著;艺人分组平衡准确率为0.334(随机基线0.25)。
研究者提出 Dice Roll Method,一套面向 LLM 品牌推荐重复查询审计的标准化协议,基于温度缩放 nucleus 采样的生成模型,将总响应方差分解为采样、提示词措辞、运行间和模型版本四类成分。
研究用 LLM 为超 1200 种食物挥发物混合物(含 8000 多个分子组分)生成感知描述,并以此作为监督信号,从分子组成预测留出混合物的相似度。当感知目标来自化学感觉提示词时预测最强,训练中学到的低秩分子嵌入在无共享分子的混合物对上仍优于组分重叠指标,且与独立的人类气味描述空间显著对齐。
研究者提出一种基于电路的框架,将基于训练动态的数据价值评估与机制可解释性(MI)相连接,沿可学习性、挑战性和对齐三条效用轴识别出模型内部因果控制这些信号的专用电路,并将其作为可控接口主动引导生成效用定向数据。
研究固定候选池、评判提示词与选择预算,用三种 LLM 评判器以五种评分格式对 15,406 条 UltraFeedback 候选数据打分,微调 66 个模型并用四种评判器评估。0–100 分制实际只用到 7–12 个等距档位,仅为 1–5 分制的两到三倍;二值判定在 77–78% 的提示词中最高分并列,导致多数选择实为随机。基于评判器的数据筛选流程应报告四项指标。
研究团队提出 Agentic Video Auto-Encoder(AVA-Encoder),从成片反向构建智能体可读的 Film Knowledge Graph(Film KG),以重建本身作为监督信号。
EvoQuantLab 是一个免训练的双环自进化框架,用于自动化 alpha 因子发现,通过内层遗传编程(GP)循环进化带类型约束的因子表达式以提升 token 效率,外层诊断循环跨周期审计证据以改进协议。在 CSI 500 和 S&P 500 日频任务上,其年化收益分别达 18.34% 和 21.30%;在小时频加密货币数据上实现 37.91% 年化收益并避免执行崩溃。
针对基于 rubric 的强化学习中策略逐渐钻训练评分器空子的问题,研究者提出 Rubric Dropout:每步训练从奖励中随机移除部分 rubric 标准,同一 prompt 的所有回答用同一子集打分以保持可比,评估时仍用完整 rubric。
研究通过智能电网用例测试了 10 个来自 4 家厂商的 LLM 智能体在 600 次运行中的表现:7 个模型在收到跨域依赖信息后至少一次移除了保护切片,高危害层级中 76% 的暴露运行移除了切片,仅 1 个模型从未移除。研究识别出两种失败模式——未查询依赖和查询后仍继续执行,表明跨域依赖的可见性不足以保障安全,依赖验证应由管理架构强制执行而非交由 LLM 判断。
SPARK 是一种轻量自适应机制,利用目标模型的验证反馈在生成过程中修正 draft 模型预测,以加速 GRPO 训练中的投机式 rollout。在 21 个模型-数据集设置上平均,SPARK 相比 EAGLE3 风格和 DFlash 风格基线,生成加速分别提升 32.7% 和 11.4%,端到端 GRPO 训练加速分别提升 32.2% 和 8.5%。
在 Qwen3-1.7B 的稀疏共激活图上,两次 LoRA-SFT 重跑之间的距离超过其与基座距离的一半,说明模型 diff 默认的"重跑会落在附近"假设不成立。
研究者推出 CausalDS 基准,用于评估数据科学智能体工作流中的因果推理能力。每个测试实例由采样的结构因果模型(SCM)、生成的观测数据和基于真实领域的合成自然语言故事构成,任务覆盖 Pearl 因果阶梯的全部三个层级,多数任务包含数据科学编码与工具调用环节,并对图无法识别的目标直接测试弃答。由于生成器完全合成,基准的组成、难度和规模均可作为参数调整,可随时抽取全新考题。
研究者提出临床世界模型框架 PatientWM,以统一患者状态和序列化潜在历史为核心,用可用性感知编码器整合各决策时刻的观测,并用类型化解码器生成任务特定临床读数。该模型在 MIMIC-III、MIMIC-IV 及三个外部临床数据集上,于临床预测、多步预测和动作规划评估中表现更优,迁移实验进一步验证其患者状态的可泛化性。
VL-DocIR 是一个面向视觉长文档检索的页面级基准,由 Wikipedia、arXiv、PubMed 和 SEC 代理声明的 29,641 篇 HTML 文档渲染为 388,548 张页面图像,包含 23 个领域、271,760 条查询和六种证据结构。
研究证明离散扩散模型中 denoiser、bridge plug-in 与 concrete score 三种方法学习的是同一对象——加噪过程的精确时间逆转,只是坐标不同,并给出三者间的精确转换关系。
多模态深度搜索框架 Neos 通过可训练的多模态证据接口(MEI)将检索内容转化为目标条件观测,并用智能体-环境协同演化流程交替进行策略强化学习与 MEI 监督微调,使证据获取与证据驱动决策形成闭环。Neos-9B 和 Neos-35B 在十项基准上取得专业多模态深度搜索智能体中的领先表现。
针对自我修改系统(重写自身代码的智能体、递归自我改进循环),论文将一步自我修改建模为代码的全可计算变换,证明若变换仅依赖行为,保持性即 Rice 定理的升格;若读取代码,则保持性至少与停机问题同等困难。沿整条轨迹的持续性可高出一个算术层级,任何全监督器都会在无法定位的系统集合上出错,且基于有限行为证据的认证方案存在被逐阶段认证却违反性质的演化轨迹。
一项受控基准测试对比了 Angle、ZZFeatureMap、IQP 三种量子编码与经典模型在信用卡欺诈检测上的表现,并将 SMOTE 直接嵌入量子 Gram 矩阵流程,使各特征图的 PR-AUC 提升约 +0.04。
该研究提出一个面向金融服务的双用途意图预测框架,用自监督 Transformer 将多模态点击流编码为紧凑会话嵌入,并用 LLM 分类体系生成与蒸馏流程产出可解释意图标签。
研究对比了零样本 Whisper、池化 LoRA 和分组 LoRA 在 Common Voice、LibriSpeech 和 VoxPopuli 上的表现,发现 LoRA 增益集中在困难的 Common Voice 分组,在 VoxPopuli 上表现一致,但在低错误率的 LibriSpeech 上基本消失。
AgentWorld 是一个数据工厂,通过 Gateway Server 和 Data Pool 将异构智能体运行时的多轮交互轨迹转化为训练引擎可直接消费的标准化数据。
研究团队推出 Glasseek,一个覆盖数据构建、训练到评测全流程的透明 DeepSearch 框架,开源全部数据、模型权重、训练配方与代码。其 9B 智能体在几乎所有深度研究基准上超越前沿闭源智能体,并在近期开源权重智能体中取得最佳整体表现,刷新 9B 规模 SOTA。
ARISE(Agent Routine Induction from Successful Experience)从智能体轨迹中识别重复出现的流程,并将其合成为可复用的智能体子程序库。
研究人员提出 PRAISE(Practical, Reproducible AI-model Implementation for Science and Education)工作流,帮助无编程经验的科学家逐步实现已发表的 AI 模型,并针对常见失败提供回退路径。
研究团队提出多智能体药物发现引擎 MADDIE,由中央 Orchestrator 协调 HitIdentifier、LeadOptimizer、Synthesizer、Evaluator 四个专业智能体,组成灵活工作流以端到端适配药物发现流程。
研究者提出 T2J-BENCH,包含 63 个 PyTorch 到 JAX 全仓库迁移任务,覆盖 18 个模型家族,要求交付无 torch 依赖的 checkpoint 转换,并以无 torch 离线验证器按执行结果判定功能等价。
针对 KV cache 显存瓶颈,研究者提出轻量压缩框架 OScaR(Omni-Scaled Canalized Rotation),指出 Token Norm Imbalance(TNI)是 per-channel 量化在极致压缩下失效的主因,并通过 Canalized Rotation 与 Omni-Token Scaling 缓解该问题。
WeFair 通过挖掘真实用户改写行为,构建从示范、偏好到验证的渐进式对齐流程,用于微信短视频搜索的个性化查询改写。该方法结合监督课程学习、直接偏好优化与基于真实改写的严格验证奖励,并采用 GRPO 优化。微信短视频搜索线上 A/B 测试显示,有效点击查询率(VV>10s)相对提升 1.576%,查询改写率相对下降 1.731%。
研究将 EconCausal 基准扩展至意识形态争议案例,从 10,490 个因果三元组中识别出 1,056 个争议实例,评测 20 个 SOTA LLM 预测实证支持的因果方向。结果显示争议项准确率一致更低,且 20 个模型中有 17 个在因果符号符合干预导向(亲政府)预期时准确率系统性高于市场导向(亲市场)预期;模型出错时预测也过度偏向干预导向,一次性上下文提示无法消除这一方向性偏斜。
研究探索用信息流方法论(IFM)开展欧盟 AI Act 合规评估,将算法、人工或混合决策系统表示为信息站点与转换通道构成的网络,从而结构化分析信息、决策与责任如何跨组织和技术边界流动。
一项研究提出 ArXivDoc 基准,基于科学论文的 LaTeX 源码构建,用于比较文本、图像与多模态表示在科学文档检索中的效果。结果显示,文档即图像表示持续表现次优,且随文档长度增加更明显;纯文本表示最有效,即使面对图表类查询也能借助图注和上下文取得优势;交错文本+图像表示无需专门训练即可超越文档即图像方法。
Omni-Embed-Audio(OEA)是一个基于多模态 LLM 的检索导向编码器,在 AudioCaps、Clotho 和 MECAT 上文本到音频检索性能与 SOTA 的 M2D-CLAP 相当。
研究对比了视觉语言模型物理推理中的外部奖励与内部注意力奖励:外部奖励(规则化格式与答案正确性检查、LLM-judge 评分)贡献了大部分准确率提升,奖励推理 token 时推理链更连贯。内部注意力奖励无需标注或评判模型,可改善空间关系推理,与外部奖励互补,在 Molmo 2 上以零额外标注成本提升平均准确率并泛化到分布外任务。
研究用 Petri 工具审计 LLM 编码智能体,测试向 LLM 审计器提供外部代码库和 benchmark 转录两类资源的影响。
研究者提出 Neural Bayesian Networks(NBNs),将贝叶斯网络中的每个条件分布替换为可微分的张量机制,同时保持图结构与分解方式不变,从而可表示任意可学习的条件分布并原生运行在 GPU 上。团队同时发布基于 PyTorch 的 NBN 库及公开基准,在大规模网络和大批量查询上借助 GPU 并行实现两个数量级的加速。
共 2000 篇论文