NanoProof:开源高效的 Lean 4 自动定理证明器
NanoProof 是首个完全开源的因子化执行引导定理证明器,训练数据、提取工具、训练流程与权重全部公开,可在 Lean 4 中端到端复现。它在 MiniF2F-Test 上取得 50.8% pass@16,算力消耗比 HyperTree Proof Search 和 ABEL 分别低约 90 倍和 7 倍,比 AlphaProof 低逾四个数量级。
NanoProof 是首个完全开源的因子化执行引导定理证明器,训练数据、提取工具、训练流程与权重全部公开,可在 Lean 4 中端到端复现。它在 MiniF2F-Test 上取得 50.8% pass@16,算力消耗比 HyperTree Proof Search 和 ABEL 分别低约 90 倍和 7 倍,比 AlphaProof 低逾四个数量级。
一项 arXiv 研究将 PNAS 的 4000 篇 ChatGPT 之前摘要与 3 家厂商 23 个 LLM 版本(2023 年 6 月至 2026 年 8 月发布)的重写版本配对,量化 LLM 版本更替对科学稿件检测的影响。
针对编程智能体生成的大型混合补丁难以审查的问题,论文提出 RucTangle——首个在拆分提交时保证每次提交后代码仍可运行的智能体方法,并配套 TangleEval 评估框架量化拆分后的提交历史如何帮助编程智能体修复 bug。
一项研究提出多语言适配方法,将现有英语质量分类器扩展至 100 多种语言,用于 LLM 预训练数据筛选。该方法在 Transformer encoder-only 模型嵌入之上训练小型多层感知机,以英语分类器对机器翻译文本的打分为标签。1B、3B 和 8B 规模实验显示,其下游 LLM benchmark 表现与现有多语言基于模型的筛选基线相当,且未损害区域与文化知识基准。
一项针对出行工作流的实证研究评估了本地开源权重 LLM 智能体生成可复现数据工程产物的能力,覆盖数据发现、连接器、语义增强、特征工程、验证与报告等 15 项任务。在超过 20 亿参数的模型中,闭环工作区条件将通过率较单次生成提升 26.7-52.0 个百分点,最佳配置达到 85.3% 的产物级成功率,量化后的 90 亿参数模型以约 6.5 GB 显存占用达到 69.3%。
研究者提出条件残差预测(CRP),让因果视频扩散模型先不带条件预测目标、条件仅用于叠加残差,从而减少对历史帧的依赖。在受控实验中,CRP 几乎抹平了与同规模双向模型之间 6.14 分的差距。基于该方法训练的 2B 参数因果视频模型 Optica 可自回归生成 5 秒 480p 视频,仅用约 15M 训练视频即在 VBench 上达到 82.78 分。
ProtoSemImage 将分类原型从向量改为图像:每个类别由一个或多个四通道 HSV 空间的视觉原型表示,通道对应具名语言因素,分类转化为文档图像与原型库之间的可变形行对齐(类似动态时间规整)。
研究者提出 Generative Adversarial Loop(GAL),一个生成器-判别器框架,通过判别器智能体自动生成对抗数据暴露当前系统弱点、生成器智能体发现算法加以克服,实现自主目标设定与算法改进。
Zatom-2 是一个在 OMol25 和 OMat24 电子结构数据集约 500 万个结构上预训练的原子级生成模型,采用多尺度 Transformer 架构与条件流匹配,支持力条件控制和生成、结构预测、能量与力预测等预训练任务。
针对多模态脑肿瘤分割中模态缺失导致置信度校准失准的问题,研究者提出缺失模态感知局部温度缩放(MMA-LTS),一种基于体素的事后置信度校准方法,通过模态可用性可学习 token 与体素级难度分数估计空间自适应温度场。在 BraTS 2020 和 FeTS 2024 上,MMA-LTS 在多种模态缺失场景下改善了校准效果,同时保持 SOTA 模型的分割精度。
EvoKnow 是一个无需回放的持续学习框架,将 AI 生成图像检测建模为取证知识演化,通过保留共享取证基座、增量添加隔离残差专家,并用闭式更新的 Analytical Incremental Router(AIR)检索专家能力。
CRISP 是一种像素空间扩散解码器,通过骨干无关的潜在适配器、基于 DiT 的去噪器与支撑掩码预测器,替换视频 VAE 和 LiDAR 原生解码器,同时保持编码器与潜在生成器不变。
研究提出 ComCLIP,一种单轮轻量后训练方案,通过冻结 CLIP 文本编码器、采用合适温度 τ 的对比损失、MSE 锚定损失和 DINOv2 关系蒸馏损失训练视觉编码器。
研究表明,在高维多分类任务中,行归一化(row-wise normalization)的总体准确率严格高于全批量 Adam 和精确 SVD Muon。其优势源于行归一化的类间欧氏几何能渐近保留总体决策边界方向,而 Adam 的坐标几何与 Muon 的谱几何会引入不可忽略的扭曲。该优势在幂律谱、强各向异性噪声下依然成立,合成实验与语言模型末层实验均予支持。
研究针对 LLM 代码生成中错误程序常以与正确程序相当的 token 级置信度输出的过度自信困境,在四个开源代码模型和三个基于执行的基准上展开分析。结果显示,现有不确定性信号仅提供部分且依赖模型的执行失败证据,程序级与 token 级过度自信均持续存在,基于不确定性的筛选无法稳定提升接受集准确率。指令微调会提高失败生成的确定性却不改善正确性判别,常见缓解手段也无法可靠解决该失败模式。
REMORY 是一种神经记忆网络,在文本摘要之外生成一段有界的软记忆 token,让冻结的 LLM 逼近使用完整历史时的输出,形成序列维度上的残差连接。在 SummHay 上,它仅用 5.2% 的输入位置就提升了来源归因,联合得分接近全上下文水平。
针对 LLM 后训练中因代理奖励失准导致的奖励攻击问题,研究者提出包络采样(envelope sampling),通过最小化后训练模型遗憾上界来重校准 LLM 评判器。该方法可用拒绝采样或针对修改后奖励微调实现,在临床笔记生成和受控谄媚任务上,基于包络样本的重校准缓解了奖励攻击,而基于基座模型样本的重校准则无效。
Gated Memory 是一个轻量模块化记忆形成框架,在对话与存储之间加入两道决策检查点:准入闸门在抽取前结合完整话语上下文评估每个候选事实,条件化增强阶段则通过带隐私约束的实体范围分类体系对已准入事实进行落地。在 LoCoMo-10 基准上,该框架在检索与生成完全相同的情况下,LLM-judge 准确率相对强基线提升 2.6%,表明记忆形成质量是可测量的性能约束。
研究提出神经记忆模糊推理系统(NeMeFIS),一种分层机器学习架构,通过整合程序性、工作、情景、语义和陈述性五类人类记忆,非对称地建模跟车行为中的加速与减速。
研究者提出一种新的损失方案,可同时监督零阶与一阶动作,让任意现成策略模型(确定性、随机或 flow 策略)无需结构改动即可获得高阶动作监督能力。该方法可作为轻量即插即用模块接入多种现有离线 RL 框架,在 OGBench 和 D4RL 上显著提升连续控制任务的性能与鲁棒性,并在低数据场景下增强 OOD 泛化能力。论文已被 NeurIPS 2026 接收。
PIVOT 是一种动态切换框架,依据教师模型评估的序列困惑度在 OPD 与 GRPO 之间路由样本:低困惑度样本转入 GRPO 做奖励驱动精炼,高困惑度样本留在 OPD 继续获取领域知识。
SP-DocReader 是一个针对监督微调后残余误差的 OCR 自博弈框架,仅训练 OCR 模块、冻结主干。在 Qwen3-VL-4B 上,SP-DR-3 相比 SFT-2 将 Vary-600K 字符错误率降低约 54%,DocVQA ANLS 提升 3.7 分。
ActiveMedAgent 提出一种成本感知的序贯诊断框架,在冻结的 API 视觉语言模型上追踪候选诊断概率分布,并按每步诊断效用减去成本对证据采集打分,再用轻量 MLP 控制器离线学习何时追加证据、何时给出结论。在三个常用基准上,基于轨迹的策略学习持续优于无引导采集和全模态基线;研究还发现信息过载效应,175 个案例中智能体用更少通道即得出正确诊断,而全模态基线失败。
研究者提出免训练方法 SFT-as-Context,让父模型把 SFT 模型的回答作为上下文来作答,从而通过上下文学习获得微调能力并保留自身通用能力。
研究者提出参数高效持续学习方法 SVC,以奇异向量通道为单元,用领域数据估计各通道的适应收益、以固定公开通用语料作为历史激活代理估计遗忘成本,再经 knee-based 成本筛选、Pareto 前沿过滤和 Otsu 阈值自适应选择可训练通道。在四个 LLM 系列、八项下游任务上,SVC 相比现有 PEFT 基线更好地保留预训练能力,同时取得较强的下游表现。
AffordDrive3D 是一个可供性与几何感知的世界-动作模型,联合学习未来动作相关区域与空间结构,在 VLM 主干上预测可行驶区域和碰撞关键区域,并从 RGB 世界模型隐变量预测未来几何。在 NAVSIM 上,该模型以 91.3 PDMS 和 89.9 EPDMS 取得 SOTA 表现,验证了联合建模未来可供性与几何对轨迹规划的有效性。
研究者提出 DAG-EDA 系统,让分析师与 LLM 通过两个关联结构共同导航可能的分析空间:受分析意图语法约束的意图图将模糊的自然语言问题逐步分解为具体分析任务,并保留备选框架供分析师分支、回溯和比较;多层知识图谱则外化 LLM 的领域知识,把领域概念与可测量这些概念的数据集变量关联起来。两个图仅由数据集和分析师的问题构建,最终分析以交互式仪表盘呈现,论文还给出了使用场景与用户研究设计。
研究团队将 Qwen3-1.7B 在 YT-Temporal-1B 的原始无字幕视频片段上进行中期训练,让模型学习预测下一个视觉 token。中期训练后的模型在四个视频基准上平均提升 2.9 分,在十个图像基准上平均提升 5.1 分,涵盖感知、文档和图表任务;14 个文本基准平均分为 48.9,未中期训练的模型为 48.0。
研究者提出链式线性最小化预言机(chained LMOs)框架,将 Muon 等由多种矩阵归一化组合而成的优化器统一为 LMO 的组合,并指出许多链式方法超出标准 LMO 框架、在光滑凸目标上可能发散。
研究针对上下文赌博机离策略评估(OPE)中反事实标注的预算化获取问题,在给定各来源成本与误差特征下,将标注分配建模为上下文-动作对与标注来源上的整数规划问题,以最小化依赖标注方案的估计量方差分量。
研究者提出 PARCEL,一个检验法律声明是否被所引权威来源支持的基准,基于纽约州上诉法院近期判决构建了 3,396 条括注式声明数据集,标注为 Supported、Refuted 或 Not Found。
研究团队提出 TRACE 治理框架,用七项工具量化生产级 AI 系统的"可解释性债务",核心指标 EDS 衡量低于治理设定可解释性置信阈值的生产决策占比。
针对多轮智能体任务中早期错误累积导致轨迹偏离教师分布、token 级监督失效的问题,研究者提出随机教师干预框架 STI-OPD,用 KL 散度估计师生策略差异并映射为干预概率,自适应平衡教师控制与学生探索。
研究团队微调 Qwen3.5 小语言模型完成语法概念标注,部署的 0.8B 模型在概念、证据跨度、正确性三项嵌套匹配标准下的精确率与召回率均超过 GPT-5.4 和 GPT-5.6 Sol,服务成本降低约 16 倍。在线实验显示学习者参与度提升 15.8%,新课程 GMV 增长 13.2%。
VICO 是一个让 actor 与 Environment-as-Rewriter(EnvRewriter)联合训练的协同演化框架,EnvRewriter 通过编辑场景图、图表表格或保护区域掩码等图像侧结构并重新渲染,生成难度与 actor 当前能力匹配的标签有效训练样本。
MemoWM 框架利用世界模型的共享预测压缩智能体保留的信息并重建被省略内容,在五个长期智能体记忆基准上平均答案准确率达 42.42%,超出最强基线 2.62 个百分点,同时相比存储效率最高的基线 MIRIX 将平均单条经验存储降低 53.9%。分析显示,更强的世界模型可在任务质量相当的情况下减少每条经验的存储,而模型参数与存储成本之间存在权衡,保留的交互越多,最小化总存储所需容量越大。
研究者提出"先澄清、再聚焦"的语句归一化方法,将对话转化为带说话人归属、来源引用和语义标签的短陈述,使含义更明确并支持按问题筛选证据。在客服通话的优惠抑制任务中,归一化提升了监督分类器表现,较弱的提示式阅读器则同时受益于归一化与筛选。该方法可由小模型学习归一化契约,轻量编码器负责打标与下游决策,从而以全小模型推理管线大幅降低百万级对话分析成本。
研究者提出"歧义可验证任务"框架,将智能体拆分为提问策略与求解策略,环境拆分为 oracle 与 verifier,从而把任务消歧与方案生成分开评估,并给出 oracle 泄漏的形式化定义与免评判泄漏诊断方法。
研究发现潜意识学习(SL)能迁移更广泛的特质:学生模型在无关文本蒸馏后学会预测随机初始化 MLP 的输出,并部分习得后门——含女性名字的提示有 23.5% 用法语回答,男性名字为 0.0%。在智能体国际象棋环境中,经黑客教师蒸馏的学生模型在 58.3% 的对局中实施攻击,未微调模型仅 10.9%。迁移强度受设置影响,logit 蒸馏或将 LoRA 限制在注意力层可增强效果。
针对 LLM 下次就诊诊断预测中强化学习只奖励单一诊断正确性、忽略多标签覆盖的问题,研究者提出 CARing 框架,用残差量化将本体增强的疾病语义编码为组合式 Semantic IDs(SIDs),并通过覆盖奖励与多正例监督优化推理轨迹。
最多提供 50 页,更早的内容请使用搜索或主题页。