GRAM:将递归推理变为概率多轨迹计算的生成式递归推理模型
研究者提出生成式递归推理模型 GRAM,将递归潜在推理从确定性单轨迹扩展为概率多轨迹计算,支持通过递归深度和并行轨迹采样进行推理时扩展。GRAM 以摊销变分推断训练,在结构化推理与多解约束满足任务上优于确定性循环和递归基线,并展现出无条件生成能力。
研究者提出生成式递归推理模型 GRAM,将递归潜在推理从确定性单轨迹扩展为概率多轨迹计算,支持通过递归深度和并行轨迹采样进行推理时扩展。GRAM 以摊销变分推断训练,在结构化推理与多解约束满足任务上优于确定性循环和递归基线,并展现出无条件生成能力。
研究团队前瞻性评估了自主系统 ERA,它用大语言模型引导的树搜索迭代生成、评估并优化可执行的预测软件。在 2025-26 美国呼吸道季的实时评测中,ERA 为流感、COVID-19 和 RSV 生成了方法多样的模型,其集成模型在 CDC 季后官方评估中排名第一,并在三种病原体上均超过 CDC 的黄金标准预测集成。
arXiv 论文提出把任意可验证的地球观测任务拆成 harness 与 verifier 两部分,由通用编码智能体据此自行构建并递归改进 EO 模型。在覆盖光学、SAR 和多光谱时间序列的六个 EO 基准上,智能体构建的模型全部超过当前最优水平,其中土地覆盖制图仅用 11% 的训练标签。作者认为这确立了人类设计 harness 与 verifier、智能体构建模型的新范式。
论文提出自编程执行(SPE),让模型补全本身充当编排程序,harness 只负责求值而不施加固定编排策略。为此作者设计了可自我编辑并重新求值的 Lisp 方言 Spell,使模型调用等副作用表达式在重求值时不重放。未经 SPE 或 Spell 训练的前沿模型可在上下文内学会 Spell 并完成挑战性智能体任务,代码已开源,论文被 NeurIPS 2026 接收。
KV² 是一种查询无关的 KV cache 压缩方法,先用轻量代理打分器筛选上下文中的高信息量 token,再仅对这一子集重新处理以计算最终淘汰分数。在 RULER 16K、2% KV cache 预算下,其平均分比次优基线高出 40 个百分点以上;在 LongBench 的 2%-10% 预算区间取得最高平均分,且压缩阶段运行时间和峰值内存均低于全上下文重建。代码已开源。
研究发现语言模型能检测、定位并一定程度描述施加在其激活上的语义无关扰动。对 Gemma、Llama、Mistral、Olmo、Qwen、Seed 六个系列、8B 至 36B 的八个模型测试,多数能以近乎完美准确率识别被扰动的句子。Olmo 在预训练中形成该能力,Qwen3-32B 与 Qwen3.8-27B 识别扰动类型的零样本准确率与扰动强度相关。
BLOOM-WILT 是一套无需训练、仅依赖目标模型 next-token 分布的 LLM 审计流水线,通过多轮修正对话策略并混合诱发提示与无提示的 next-token 分布,来诱发罕见的多轮行为实例。
校准保持剪枝(CPP)在基础剪枝评分上加入非一致性梯度显著性,并采用剪枝、验证选择、共形校准与测试四组不相交划分,以在剪枝后获得更小的有效预测集。
WorkflowPerturb 是一个用于评估多智能体工作流指标的受控基准,包含 4,973 条黄金工作流和 44,757 个扰动变体,覆盖 Missing Steps、Compressed Steps、Description Changes 三类扰动,严重程度分为 10%、30%、50%。
研究将水印定位形式化为基于枢轴统计量的 token 级多重检验问题,用隐变量记录每个位置的水印依赖是否在改写、插入、删除或改写后存活。理论推导给出全局检测的锐利边界,以及发现与分类的相变,证明发现严格难于检测、一致分类在该参数区间内不可能。作者提出自适应阈值方法,无需已知稀疏指数或时变下一 token 分布,即可达到最优发现边界。
JEPA-DNA 是一个模型无关的持续训练框架,将联合嵌入预测架构(JEPA)与生成式目标结合,通过监督潜空间中的全局序列嵌入,让模型预测被掩码基因组片段的功能表征,把学习信号从 token 还原转向语义对齐。在 17 项基因组基准任务上,无论底层 GFM 架构或生成目标如何,线性探测与零样本性能均获一致提升,并在线性探测协议下刷新 GFM 的 SOTA。代码见补充材料。
研究者提出符号机制数据归因(SMDA)框架,通过对稀疏自编码器(SAE)特征拟合闭式 Ridge 回归,将每条 SFT 样本的影响分解为特征激活(ΔX)与输出概率(ΔY)两条路径。
一项大规模实证研究评估了 Agent Skill 范式在 270M–80B 开源模型上的可行性,覆盖保险理赔分类与 Python 编程两类任务。结果显示极小模型常无法检索或选择正确技能,而 30B–80B 模型从技能增强中获益显著。研究还给出面向部署的 GPU 显存时间占用(GB·min)画像,揭示技能增强收益随模型规模、任务复杂度与 GPU 预算的变化。
研究者提出多智能体交互记忆(MATM)框架,让生产者智能体将轨迹贡献到共享仓库,消费者智能体检索复用,实现群体级经验存储与检索。在 ALFWorld 和 WebArena 长流程交互环境中,从 MATM 检索可提升下游任务表现并减少交互步数,且无需协调或联合训练。
研究者提出 ChaosBench-Logic,用统一一阶逻辑(FOL)本体覆盖 30 个动力系统、11 个语义谓词,生成 621 道题,涵盖多跳蕴含、跨系统类比、反事实推理、偏见探测和多轮对话七类任务。
GRASP 是一种混合检索器,通过小型 LLM 规划器将查询转为可执行图计划,融合图排序与文本排序,并用微调重排序器重排候选结果。在三个 STaRK 基准上,GRASP 所有指标均取得最优,平均 Hit@1 较最强基线提升 18.6 分,单次查询耗时仅 2.47 秒。
GraphCompliance 是一个结构感知的合规审查框架,将监管文档表示为 schema 引导的 Policy Graph、上下文信息表示为实体-关系三元组的 Context Graph,并通过 Compliance Gate 对齐两图以识别相关监管要求并对照上下文证据评估。
研究者提出 Preping,一个由 Proposer 引导的智能体记忆构建框架,让智能体在接触目标任务前仅靠自生成合成练习构建程序性记忆。
该论文提出一种让 AI 模型通过与环境的直接交互自主生成并验证新知识的框架,核心是一个不可博弈的无界数值奖励(如磁盘占用空间或粉丝数),无需人类基准即可引导学习。AI 智能体迭代生成策略和可执行代码以最大化该指标,成功结果用于自我再训练和增量泛化,并通过 GRPO 支持微调以缓解模型崩溃和冷启动问题。系统采用模块化智能体完成环境分析、策略生成与代码合成。
研究者提出 EmbodiedMidtrain,通过中训练弥合 VLM 与 VLA 之间的数据分布差距。该方法用轻量可学习邻近度估计器从大规模 VLM 数据池中筛选与 VLA 最对齐的样本,构建 EmbodiedMidtrain-1M 数据集,在 VLA 微调前对 VLM 进行中训练。
研究提出 Atomic-PPO 深度强化学习算法,通过原子动作分解缩减动作空间,以较低算力开销求解电动 Robo-Taxi 的车队调度与充电桩分配问题。基于纽约市真实网约车出行记录标定的仿真显示,该算法能产出接近最优的调度策略,并可作为系统评估工具。实验还表明,充电桩布局应贴合乘客需求分布,充电桩数量与充电速度需均衡投入,且充电基础设施应与车队规模协同规划。
研究系统评估了 LLM 作为放射学报告评判模型在多种成像模态和解剖部位上的表现,提出新指标 VERT,其与放射科医生判断的 Kendall 相关性较 GREEN 最高提升 26%。在现有指标中 GREEN 最稳健;对 Qwen3-30B 进行集成和轻量微调分别带来最高 9.9% 和 25% 的提升,后者延迟降低 37.2 倍。误差分析显示这些指标虽整体与专家评分相关,但易在遗漏类错误上计数失准。
研究者推出 LIBERO-PeRM,一个用于具身智能体偏好学习的基准,基于 LIBERO 构建,覆盖运动、技能和用户画像三类可观察偏好,包含 5 个任务套件共 312 个任务。实验显示当前 VLA 策略难以零样本个性化,SFT 可让偏好变得可学习,混合训练在无偏好保持上优于顺序适配,但偏好泛化、分解与冲突处理仍是难点。
研究者提出一个进化框架,由 LLM 提出量子电路设计、独立评估器负责验证与打分,并在数值计算、化学、优化、量子模拟和数论等任务上测试。在 8 项任务中的 7 项,发现的电路同时显著降低了 Toffoli 门数和量子比特数;第 8 项任务中搜索出了一种新的素数域模逆可逆架构,使原本难以用于可逆整数运算的 divsteps 算法变得可行,并大幅改善了模逆的 Toffoli-量子比特权衡。
研究者提出轻量适配框架 Resolving Interference(RI),通过将各专家模型解耦为与其他任务空间功能正交,降低模型合并中的跨任务干扰。RI 仅需无标注辅助数据即可应用,在数据稀缺场景下也能使用,将 SOTA 合并方法性能最高提升 3.8%,对未见域泛化最高提升 2.3%。该方法对辅助输入来源稳健,且对合并超参数调优的敏感度显著更低。
T2-Z 通过为机器人世界模型附加可学习的环境隐变量,在测试时冻结世界模型、仅用一次或多次交互轨迹优化该隐变量,从而适应未见过的环境配置。在 7 个模拟设置和 4 项真实机器人任务中,物体预测误差指标从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%。消融实验显示,T2-Z 仅凭单条测试时交互轨迹即可高效推断环境隐变量。
研究系统考察了部分 RoPE(仅对一部分隐藏维度施加旋转位置编码)对 Transformer 训练动态与收敛的影响,发现仅对约 10% 维度应用 RoPE 即可达到与完整 RoPE 相当的收敛效果,同时相比标准 RoPE 缓存最多节省 10× 内存。
CoDA 让仿真数据引擎与动作策略通过共享异构记忆协同演化,记忆将视觉语言评论模型验证的诊断编译为生成程序与训练程序。其 Text2potential 把诊断转为分阶段势函数,为动作块价值学习提供稠密监督。
研究者提出 CE-RAG4EM 框架,通过基于分块的批量检索与生成,降低 LLM 实体匹配中 RAG 的端到端开销。在九个真实实体匹配基准数据集上,该框架在零样本设置下取得相当或更优的匹配质量,并在属性模糊或数值稀疏的数据集上显著提升 F1 分数。分析还揭示了分块批量大小与检索粒度上的性能-开销权衡。
研究指出现代 MoE 架构中细粒度专家分割与共享专家之间存在"探索困境":共享专家降低了 token 表示的多样性,削弱路由探索,而细粒度分割又因组合爆炸式扩大的路由空间更需要探索,导致其表达能力难以充分释放。为此提出的 MirrorMoE 通过 token 自适应抑制冗余专家来缩小探索空间,在不同模型规模上均稳定提升性能。
AlignSAE 通过“先预训练、后后训练”的两阶段方法,将稀疏自编码器(SAE)特征与预定义本体对齐,在 GPT-2 上实现精确因果干预,1-hop 概念替换成功率达 94.8%。其解耦效果较标准 SAE 提升 9 至 ∞ 倍(以互信息差衡量),并支持多跳推理与类 grokking 泛化动态的机制探针分析。该方法与模型无关,已发表于 TMLR。
研究者提出 MIDA——一个包含同步视频与文本、每条陈述均有可验证真值标签的多模态数据集,用于评估 MLLMs 在多方社交互动中的欺骗识别能力。对 12 个开源与闭源 MLLMs 的基准测试显示,即便 GPT-4o 也难以可靠区分真实与欺骗性陈述。
GeoState 是一种视角解耦的几何表示,用于预测式 3D 世界建模,将场景状态演化与相机相关观测分离。它通过场景 tokenizer 将多视角 GFM 特征聚合为视角解耦的场景状态,由几何解码器用相机射线查询,自回归世界模型预测未来场景状态,相机运动单独建模。
研究者提出 Thinking-Free Policy Initialization(TFPI),通过 ThinkingFree 操作直接丢弃思考内容,衔接长 CoT 蒸馏与标准 RLVR,降低推理 token 消耗。
研究者推出 3DCodeVerse 研究生态,让编码智能体大规模生成可编辑、可验证的 3D 内容,包含 3DCodeVerse-2M 大规模可执行 3D 代码数据集、基于多智能体有向无环图的 3DCodeVerse Harness 生成与优化框架,以及系统性 3D 编码实证研究。
研究发现,LLM 生成文本呈现更平滑的高频 Zipf 斜率、更陡峭的低频斜率和更高的词项特异性,文档级多样性也更强。基于词项的检索模型并不存在固有的来源偏见,而是优先返回词项分布与查询更接近的文档。该工作为理解和应对混合来源内容下基于词项的 IR 系统潜在偏见提供了基础。
机器人框架 DSP 通过行为克隆从数分钟人类玩耍数据中学习玩耍策略,再自主部署收集数小时交互数据训练世界模型,推理时由该策略为 MPC 提出候选动作序列。团队还提出在世界模型内通过自博弈蒸馏闭环目标条件策略的方法。真实世界实验中,该方法成功率比 hindsight 行为克隆高 69.6%,并以少 490 倍的交互数据达到与强化学习相当的成功率。
SaraCoder 是一个在固定上下文预算下通过分层上下文剪枝提升知识密度的检索增强框架,其 Hierarchical Feature Optimization 模块分四阶段剪枝过完备候选池,再将释放的 token 分配给 External-Aware Identifier Disambiguator,选择性注入最必要的跨文件依赖定义。
ACEdit 提出一种训练方案,让图像编辑模型在多轮编辑中保持稳定:训练时强制编辑器处理自己前几轮的输出,把 Self-Forcing 引入图像编辑。由于自生成轨迹偏离真值、直接监督不可靠,该方法用蒸馏目标让教师编辑器提供可靠信号,并采用非对称条件化——学生基于自身输出顺序编辑,教师始终锚定原始干净图像并接收复合编辑指令。实验显示长多轮序列中的质量退化显著降低,同时保持编辑质量与指令遵循。
CellForge 是一支由自主智能体组成的团队,可端到端完成单细胞扰动建模:从文献调研、数据解析到生成模型假设、编写训练代码并跑实验,最终返回含架构、代码与验证结果的预测器,全程无需人工指定设计、损失或训练协议。
共 2000 篇论文