LLM-BabyBench:语言模型能否在可模拟的世界中做规划?
LLM-BabyBench 将程序生成的 BabyAI 网格世界改造为完全可观测的纯文本环境,把规划能力与感知、检索、常识等因素分离评估。其 PPD 套件包含 Predict、Plan、Decompose 三项任务,在七个前沿与开源模型零样本测试中,所有模型的模拟表现均远超规划,最强模型接近饱和。
LLM-BabyBench 将程序生成的 BabyAI 网格世界改造为完全可观测的纯文本环境,把规划能力与感知、检索、常识等因素分离评估。其 PPD 套件包含 Predict、Plan、Decompose 三项任务,在七个前沿与开源模型零样本测试中,所有模型的模拟表现均远超规划,最强模型接近饱和。
研究者推出 Physics 基准,包含来自六个核心物理领域 PhD 资格考试难度的 1034 道开放式题目,每题配有解答与独立核验的参考答案,并采用基于 LLM 的评分协议评估数值、符号和文本作答。
针对神经网络在无偏博弈中难以学会最优策略的问题,研究者以 NIM 游戏为例,证明浅层固定规模量化网络属于 AC⁰ 电路类,无法计算任意大输入的奇偶性,因而无法在所有棋盘规模上实现最优单步走子。
研究提出一种神经符号方法,用预训练 AMR 解析器将文本转为抽象语义表示图,再翻译为命题逻辑并交由 SAT 求解器自动推理,以识别自然语言论证中的蕴含与矛盾关系。为应对措辞差异导致的逻辑表示不匹配,该方法引入松弛机制,允许替换或遗忘部分命题。实验显示该方法在三个 RTE 数据集上表现良好,且能给出前提、主张及松弛操作的逻辑表示。
研究发现,在情景演算中用实值函数 time(a) 为每个动作附加时间点的常见做法,即使域中仅含有限对象,判断是否存在满足给定公式的可达情景也是不可判定的。作者借鉴时间自动机理论,引入带受限后继状态公理和比较运算符的时钟(实值流变量),证明有限域基本动作理论的可达性问题可判定,并给出确定 Golog 程序成功执行动作序列的可判定过程。
ChunkAct 将动作分块引入智能体机器人,在线单次 LLM 调用即可启动一串链式原语自主执行,仅在失败时交还控制权;离线阶段把记忆编译为这些分块,使测试时执行无需记忆。在 LIBERO-Pro 上,ChunkAct 任务成功率较智能体机器人 SOTA 提升 5.0 分,同时 LLM 调用减少 2.9 倍、输入 token 减少 4.4 倍、输出 token 减少 2.3 倍。
研究基于 5000 条自然次优人类演示和 24 个目标任务,对比了 VLA 预训练中加权、过滤与条件化三种质量利用方式,发现 approach-aware episode conditioning 的平均成功率优于普通行为克隆,且条件化与过滤分别偏好 episode 和 chunk 标签。
论文提出 Tev-Gym,首个带可验证稠密渐进奖励的长时程智能体训练数据集,覆盖 7 个领域共 1,170 个已验证任务环境。其构建采用 latent-world-first 方法,先构造任务领域、工作流与每步预期状态的隐藏规格,再逐步渲染为面向智能体的环境,从而获得可控复杂度与天然进度指标。
DoubtLess 是一种无需训练的对比解码方法,用小推理模型引导大模型精简思维链。在七项竞赛数学、研究生科学和编程基准上,它将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变,优于五种推理时基线。在自调试编程智能体中,每轮思考 token 减少 20% 且任务表现不变,并可泛化到另外两个模型家族。
HybridAgents(Hybrid Reasoning Agents)通过轻量级 HybridLink 在隐式推理与文本交互间动态切换,并借助连续工作记忆保留无损混合上下文,使隐式思维可直接检查。
研究提出"两时钟"框架,区分 RLVR 中产生进展所需样本与崩溃前消耗的样本。基于局部二次模型,平方根学习率规则虽保持每样本一阶漂移,却无法保持进展:更大批次更新更少更长,曲率损失更多,存在依赖学习率的临界批次。在 Qwen2.5-Math-1.5B 上跨 16 倍批次范围的 GRPO 实验支持该预测,进展差距在另一数据集、通用 checkpoint 和 7B 模型上重现。
LIBERO-RIG 是一个只扰动机器人硬件与配置、保持 LIBERO 任务不变的鲁棒性基准,覆盖相机安装与光学、相机-机械臂标定、驱动增益、控制频率、本体感觉噪声、底座位姿、桌面高度和夹爪垫等 11 个扰动轴,每轴 5 个严重度,在四个 LIBERO 套件上共 210 种条件。
该论文研究带 KL 正则化的有限时域马尔可夫决策过程中的离线 Q-learning,提出 KLQ 与 KLPQ 两种算法。KLQ 无需显式悲观机制即可达到 Õ(1/ε) 的样本复杂度,但依赖 KL 正则化参数与时域的指数项;KLPQ 引入悲观机制后保持 Õ(1/ε) 速率并消除该指数依赖。作者称这是表格型有限时域 KL 正则化 MDP 中离线 Q-learning 的首个快速收敛保证。
RoboSimStudio(RSS)是一个交互式工具包,将求解器、接触模型和物理参数的选择显式化并可编辑,让人类和编码智能体都能基于观测到的物理行为快速创建并迭代优化仿真。该工具基于开源 Newton 物理仿真系统实现,并开展了人类引导 real2sim 的三类实验:视觉评估、力反馈以及智能体化的 Real2Sim2Real。
研究者提出 Adaptive Diversity Control(ADiCo),一个双时间尺度框架,可在训练中在线调节多智能体强化学习的行为多样性。快速尺度上,Diversity Control(DiCo)将系统多样性调控至目标值;慢速尺度上,极值搜索控制器(ESC)仅凭平均回合回报调整该目标,无需显式模型或多样性-性能梯度的解析式。
研究者提出 SEAR(Self-Evolving Agentic Robotics)框架与基准,用于检验语言模型智能体是否真正在机器人任务中学习,以及所学能否迁移到新任务、新模拟器和真实机器人。
论文提出 MalwareFormer,一个基于 Transformer 的字节级恶意软件检测框架,直接处理原始字节,无需领域知识或特征提取,准确率 98.35%、平衡准确率 98.32%、macro-F1 98.32%、假阳性率 1.94%,在所有阈值相关分类指标上均优于基线。
研究将 LLM 集成增益(CIV)在非多样性对照下代数分解为额外候选对比(DSV)与候选上下文对比(CCV),且该分解依赖所选对照,CIV 本身则不然。
PreciseCoder 通过为单元测试奖励增加语义验证的局部编辑信号,在 4B、9B、27B 模型上将平均编辑行数从 7-15 行降至 3 行,通过率与仅用单元测试训练持平。
研究者推出 SolBehave 基准,用差分模糊测试、历史交易回放和 DCR 图引导的合成交易回放三类测试,在 250 个真实以太坊合约上评估 LLM 生成 Solidity 合约的行为保真度。
研究者提出一种"速率迁移"方法,可将关联随机微分方程(SDE)的有限时间 Lyapunov 估计转化为随机梯度算法的有限时间收敛界。在一般矩条件与光滑性条件下,随机梯度法的收敛分析被简化为验证 SDE 的 Lyapunov 生成元不等式的微积分论证。该方法能复现经典随机梯度方法的已知收敛速率,并为新优化算法通过其关联 SDE 的微积分论证建立收敛速率提供了途径。
研究者提出 Steertuning 系统,让机器人在新环境中仅凭 5 段人类演示学习新任务,整个流程从数据采集到策略部署不到 5 分钟。该系统先在 100 小时带密集标注的第一人称人类交互数据上预训练一个 400M 参数的扩散策略,再针对新任务微调 2 分钟(2000 次训练更新),并在反向采样时用与部署环境观测最接近的演示来引导动作。
研究者提出 UniW(A)M,一个基于扩散 Transformer 的混合专家框架,统一了动作条件世界建模与多种世界-动作模型(WAM)变体,共享专家捕捉通用动力学,原子能力专家跨接口复用。
GeoReader 框架通过训练轻量级 Geometric Readers 生成连续几何 token,让 VLM 直接读取几何信息,而非仅对齐几何特征。在 Qwen3-VL-4B 上,该方法在 MindCube-Tiny 达到 94.3;配合多源 QA 混合数据,Qwen3.5-9B 在六个额外空间基准上平均得分 72.5。推理时 VLM 直接由连续几何 token 作答,无需生成几何思维链。
Varest 提出一种图像 token 压缩方法,基于语义可替换性,用目标与文本定位器引导可变分辨率合并,再通过可学习的 [REL] 寄存器在解码器早期处理后剪枝视觉 token。
RadarGSOcc 直接处理 4D 雷达张量,分别提取几何与语义特征(含多普勒信息),核心是可变形注意力几何精修模块。
针对 GRPO 等无 critic 算法将轨迹级优势均匀分配给所有动作的问题,研究者提出即插即用框架 ProAS,通过动态演进的 Agentic Reference Graph(ARG)实现细粒度信用分配。
研究者提出 Generative Trajectory Planning(GTP),一种基于模型的框架,通过从扩散先验中采样候选动作序列并利用学习到的动力学、奖励和价值模型进行精炼,实现高效的轨迹级推理。在连续控制和长时程操作任务中,GTP 匹配或超越 SOTA 的无模型、扩散策略和基于模型的基线,并在强基线退化的场景下保持稳定。
研究者在19个词汇-语义子类上通过事实干扰关系补全提示,识别出能减少上下文夹带的注意力头,发现同语义族迁移效果优于跨族迁移,且子类特定搜索反复重新发现许多全局共享头。干净补全与上下文使用探针表明,这种共享干预可减少有害复制,同时保留普通关系补全和简单上下文能力。研究认为,有害上下文跟随不应靠寻找孤立的关系特定回路,而应用异构攻击提示揭示可复用的干预目标。
研究者提出免训练的 Semantic Medical Identifier(SMI)框架,将每个诊断、手术或药物概念的 Semantic ID 定义为医学本体中由粗到细的路径,并聚合冻结的生物医学 LM 嵌入生成层级感知的医学概念表示。
两项研究测试了虚拟角色使用熟悉人物的克隆声音时人格印象是否会迁移,结果显示人格迁移证据有限,效应具有选择性且无法跨特质或研究情境泛化。在线研究中,可识别的语音身份线索激活了说话者预期,但未能重建更完整的人物印象,判断常受感知人工性和声音与外观匹配度影响。
快手 OneRec 团队提出 Kwai Summary Attention V2(KSA V2),针对混合 KSA-Full 架构中摘要压缩块必须逐层一致、Full attention 层仍承担二次预填充开销两个瓶颈,让 summary token 同时充当 KV 记忆与稀疏索引器,实现更灵活的 KV Cache 压缩并降低 Full attention 层计算成本。
研究者提出 AMemOps 基准,用于评估长音频流中的最新属性检索、未变属性保持与缺失来源拒绝。在测试乐器的其他录音上训练,可使参考 delta-rule 记忆相对匹配注意力机制的更新优势提升 13.4 个百分点;在 120 秒检索延迟下,匹配历史可区分一致重复的收益与早期冲突值的代价,加性记忆对照则识别出擦除的收益。
研究者将递归 Transformer 的深度监督、截断递归与测试时离散演绎格等训练流程迁移到消息传递网络,发现两者互补,可在 Sudoku-Extreme 上以 16k 参数模型取得约 99% 测试准确率,H100 训练约 10 分钟、CPU 约 9 小时。
研究者提出 ST-GRU 单元,以 GRU 风格的两个门(更新门与重置门)替代 ST-LSTM 每个记忆状态的三个门,并将时间记忆状态并入隐藏状态,参数量减少约 5%。
DTScribe 可读取数字孪生文档,自动输出概念架构可视化与报告页面,并生成 Ontological Modeling Language 描述模型。它通过大语言模型评审与本体推理的细化循环提升产物质量,使约 20B 参数的本地中型模型达到接近更大模型的效果。研究建议避免用大语言模型做评审、避免用聚类做特征提取,并推荐至少两轮推理循环。
研究者提出 SPACE(Subspace Projection for Adapted Checkpoint Enhancement),一种无需数据、无需训练的后处理方法,仅凭 SFT 前后 checkpoint 即可将 SFT 更新中位于 SFT 前权重主子空间的分量选择性回退,同时保留正交补空间中的更新。
研究刻画了在多种伪造技术下防伪造的最优资源分配规则,并给出一个诚实条件——满足该条件时,这些规则可解决规划者最大化配置剩余与智能体福利加权和的无约束问题。研究指出,朴素最优规则会导致伪造与配置低效,而兼顾伪造的配置效率优化通常会诱发伪造,给智能体带来高昂成本,并产生负外部性。
研究者提出直接知识图谱交互(DKGI),让语言模型 Agent 直接在完整的节点与边文件上编写 Python 代码创建图谱访问工具,并将执行与 shell 搜索、文件检查交错进行。
研究复现了 SDPO 和 OPSD 两种自我蒸馏方法,发现在代码、科学、工具使用和数学推理任务上,其报告的收益无法稳定泛化到未见问题,主要源于过拟合或迁移已有推理行为,而非有效利用特权信息。自我蒸馏梯度与直接优化期望奖励的策略梯度对齐较弱,在 Qwen3(1.7B-14B)和 OLMo-3-7B 上的实验表明,有效利用特权信息提升推理仍是未解难题。
共 2000 篇论文