ChunkAct:面向智能体机器人的动作分块
ChunkAct 将动作分块引入智能体机器人,在线单次 LLM 调用即可启动一串链式原语自主执行,仅在失败时交还控制权;离线阶段把记忆编译为这些分块,使测试时执行无需记忆。在 LIBERO-Pro 上,ChunkAct 任务成功率较智能体机器人 SOTA 提升 5.0 分,同时 LLM 调用减少 2.9 倍、输入 token 减少 4.4 倍、输出 token 减少 2.3 倍。
ChunkAct 将动作分块引入智能体机器人,在线单次 LLM 调用即可启动一串链式原语自主执行,仅在失败时交还控制权;离线阶段把记忆编译为这些分块,使测试时执行无需记忆。在 LIBERO-Pro 上,ChunkAct 任务成功率较智能体机器人 SOTA 提升 5.0 分,同时 LLM 调用减少 2.9 倍、输入 token 减少 4.4 倍、输出 token 减少 2.3 倍。
DoubtLess 是一种无需训练的对比解码方法,用小推理模型引导大模型精简思维链。在七项竞赛数学、研究生科学和编程基准上,它将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变,优于五种推理时基线。在自调试编程智能体中,每轮思考 token 减少 20% 且任务表现不变,并可泛化到另外两个模型家族。
HybridAgents(Hybrid Reasoning Agents)通过轻量级 HybridLink 在隐式推理与文本交互间动态切换,并借助连续工作记忆保留无损混合上下文,使隐式思维可直接检查。
研究提出"两时钟"框架,区分 RLVR 中产生进展所需样本与崩溃前消耗的样本。基于局部二次模型,平方根学习率规则虽保持每样本一阶漂移,却无法保持进展:更大批次更新更少更长,曲率损失更多,存在依赖学习率的临界批次。在 Qwen2.5-Math-1.5B 上跨 16 倍批次范围的 GRPO 实验支持该预测,进展差距在另一数据集、通用 checkpoint 和 7B 模型上重现。
该论文研究带 KL 正则化的有限时域马尔可夫决策过程中的离线 Q-learning,提出 KLQ 与 KLPQ 两种算法。KLQ 无需显式悲观机制即可达到 Õ(1/ε) 的样本复杂度,但依赖 KL 正则化参数与时域的指数项;KLPQ 引入悲观机制后保持 Õ(1/ε) 速率并消除该指数依赖。作者称这是表格型有限时域 KL 正则化 MDP 中离线 Q-learning 的首个快速收敛保证。
研究将 LLM 集成增益(CIV)在非多样性对照下代数分解为额外候选对比(DSV)与候选上下文对比(CCV),且该分解依赖所选对照,CIV 本身则不然。
GeoReader 框架通过训练轻量级 Geometric Readers 生成连续几何 token,让 VLM 直接读取几何信息,而非仅对齐几何特征。在 Qwen3-VL-4B 上,该方法在 MindCube-Tiny 达到 94.3;配合多源 QA 混合数据,Qwen3.5-9B 在六个额外空间基准上平均得分 72.5。推理时 VLM 直接由连续几何 token 作答,无需生成几何思维链。
针对 GRPO 等无 critic 算法将轨迹级优势均匀分配给所有动作的问题,研究者提出即插即用框架 ProAS,通过动态演进的 Agentic Reference Graph(ARG)实现细粒度信用分配。
研究者提出 Generative Trajectory Planning(GTP),一种基于模型的框架,通过从扩散先验中采样候选动作序列并利用学习到的动力学、奖励和价值模型进行精炼,实现高效的轨迹级推理。在连续控制和长时程操作任务中,GTP 匹配或超越 SOTA 的无模型、扩散策略和基于模型的基线,并在强基线退化的场景下保持稳定。
研究者在19个词汇-语义子类上通过事实干扰关系补全提示,识别出能减少上下文夹带的注意力头,发现同语义族迁移效果优于跨族迁移,且子类特定搜索反复重新发现许多全局共享头。干净补全与上下文使用探针表明,这种共享干预可减少有害复制,同时保留普通关系补全和简单上下文能力。研究认为,有害上下文跟随不应靠寻找孤立的关系特定回路,而应用异构攻击提示揭示可复用的干预目标。
快手 OneRec 团队提出 Kwai Summary Attention V2(KSA V2),针对混合 KSA-Full 架构中摘要压缩块必须逐层一致、Full attention 层仍承担二次预填充开销两个瓶颈,让 summary token 同时充当 KV 记忆与稀疏索引器,实现更灵活的 KV Cache 压缩并降低 Full attention 层计算成本。
研究者将递归 Transformer 的深度监督、截断递归与测试时离散演绎格等训练流程迁移到消息传递网络,发现两者互补,可在 Sudoku-Extreme 上以 16k 参数模型取得约 99% 测试准确率,H100 训练约 10 分钟、CPU 约 9 小时。
研究者提出 ST-GRU 单元,以 GRU 风格的两个门(更新门与重置门)替代 ST-LSTM 每个记忆状态的三个门,并将时间记忆状态并入隐藏状态,参数量减少约 5%。
研究复现了 SDPO 和 OPSD 两种自我蒸馏方法,发现在代码、科学、工具使用和数学推理任务上,其报告的收益无法稳定泛化到未见问题,主要源于过拟合或迁移已有推理行为,而非有效利用特权信息。自我蒸馏梯度与直接优化期望奖励的策略梯度对齐较弱,在 Qwen3(1.7B-14B)和 OLMo-3-7B 上的实验表明,有效利用特权信息提升推理仍是未解难题。
Jev-ToM 在来自 9 个心智理论(ToM)基准、覆盖 6 类能力的 11,117 道英文文本问题上,对比了 5 个类型化决策模型与 7 个生成式基线。TypeSafe Jev 取得 73.2% 的 source-balanced 准确率(含原生控制项),在全部 6 类能力上排名第一或第二,并在信念、目标/欲望/意图和情感上领先。
LLM2R 将 3D 零件装配转化为序列建模,用 Point-BERT 编码器和 Q-Former 把每个零件压缩为几何 token 块,再由经 LoRA 适配的因果 LLM 单次前向预测全部位姿。
针对多目标 bandit 中的最佳臂识别(BAI),研究刻画了多目标何时以及为何比单目标更容易。对高斯 bandit,作者建立了在任意偏好序下一致成立的固定置信度特征时间下界,并在 Pareto、线性与字典序偏好下揭示三种现象:识别更大的最优集合可能比识别唯一最优解所需样本更少;向量反馈相对坐标反馈的优势取决于偏好序;多目标识别甚至可能比对应的最易单目标问题更省样本。
自回归语言模型每一步预测产生的词表 logit 向量,其有序头部 logits 在不同预测上下文、架构和规模下均遵循 log-linear 关系 z_(r) ≈ μ - α log r,并在预训练中逐步显现。受控次序统计基线可解释这一几何形态,却无法解释斜率 α 的系统性偏移:训练后模型 α ≈ 1.4–1.7,远高于初始化基线 α ≈ 0.2,且 α 与预测性能相关。
针对大型视觉语言模型在长时程视觉语言导航中因上下文长度限制、历史观测冗余和空间对齐不稳定导致性能下降的问题,研究者提出 MemoryVLN 记忆驱动导航系统,通过长序列压缩、自我感知记忆表示、分层记忆库与记忆增强机制,将原始导航历史转化为紧凑、空间锚定且可选择性检索复用的导航经验。
针对路边传感器高度、倾角与视场差异大导致端到端模型难以泛化的问题,该研究提出一种低成本两阶段方法:第一阶段用现成方法提取 2D 相机检测框与对应 3D 雷达点,第二阶段由雷达确定 3D 位置、预定义模板确定尺寸、微型神经网络预测站点专属偏航角,从而构建 3D 有向包围盒。
研究对比了离散提示词优化、prompt tuning 与 prefix tuning 对稠密和 MoE 语言模型内部计算的影响,发现适配所处位置决定了任务信息如何传递到输出:优化文本主要改变回复构建,输入级提示词将影响写入内容表征,逐层 prefix 则通过注意力维持直接控制,在 MoE 模型中还引发不同的专家路由模式。常见的表征级度量对通用上下文变化反应强烈,无法可靠区分有用适配与匹配的安慰剂。
Urbex 是一个智能体视觉语言框架,将城市级 3D 定位重构为主动空间搜索,让 VLM 智能体查询地标、缩放局部区域、渲染斜视图并输出定位边界框。该框架在 CityRefer 上通过强化学习优化工具使用策略,取得最佳 Hit@1 和 IoU,无需候选框与真值框,且显著快于最强的城市级排序基线。在 STPLS3D-Refer 上的零样本结果进一步显示跨场景鲁棒性提升。
JevGPT 是一个面向自主研究的双系统架构,将快速证据处理与审慎研究规划相结合:System Two 设定证据目标并整合发现,System One 定位支撑、评估相关性并引导进一步检查,独立来源判断并行运行。在固定语料问答和文档排序实验中,JevGPT 取得领先任务表现,完成更快、成本低于同等有效的研究智能体,并在研究循环中覆盖更多支撑文档。
SATResetCoP 通过不再回退无产出的 tableau、转而开启新 tableau 为 SAT 求解器生成更多 ground 子句,在 TPTP 上较 leanCoP 风格基线提升 54%、较 SATCoP 风格基线提升 18%。
针对扩散大语言模型在固定配额评估下数学与代码得分严重下滑(每步 16 token 时全部低于 15%)的问题,研究者提出 RePara,通过组相对策略优化强化短连续 token 块,并降低 rollout 与 log-probability 重算开销。
研究者提出 QRR(Quotient Recurrent Reasoner),一种具有精确逐 token 相位旋转对称性的规范等变循环架构,通过在对称方向上引入旋转自由度,使该方向上的运动不改变商表示且与推理相关动力学动态解耦。QRR 在商空间中实现稳定且更快的解根收敛,不形成主导的慢振荡瓶颈,并在数独、迷宫和 Mini-ARC 上匹配或超越近期循环推理模型。
该论文将宽神经网络的有限样本高斯近似界提升为函数型界:通过细化样本集使其在定义域上稠密,并以逐样本误差度量使常数与样本数无关。对多项式激活函数和任意紧致输入集,在超范数下得到 m^{-1/2} 的收敛速率及显式常数。
LoOPSD 通过搜索模型自身的层执行顺序(重复某些层)构建更强的教师,并将教师的预测优势蒸馏回学生,且每轮用更新后的学生重建教师。在 GSM8K、400 token 思考预算下,该方法将 Qwen3-1.7B 准确率从 42.30% 提升至 79.61%,后续蒸馏轮次还能带来进一步增益。
研究将块可识别性与构造性因果抽象相连接,证明块对角可逆变换加兼容坐标置换是保持基于这些块构建的每个构造性因果抽象的最大变换类,前提是块与概念的对应关系随表示更新。在加性自编码器的小型合成实验中,高层干预可在独立学习的表示之间迁移并近似保持预期效果。
针对未知 MDP 中策略是否满足几乎必然可达性,研究证明在无额外信息时既无法学习也无法验证 RSM 证书;但在已知非零转移概率下界 p_min 的温和限制下,可借助采样以 PAC 式保证学习到正确证书。实验显示该 p_min 充分条件虽可靠但偏保守,条件失效时学到的证书在真实 MDP 上往往仍有效。
该论文探讨机器学习不确定性评估与测量科学之间的概念类比,借鉴计量学从误差方法到 GUM 框架的演进,指出将 ML 不确定性分为偶然与认知两类本质上是模型依赖的,不足以支撑统一评估框架。文章主张借鉴计量学方法,系统识别、量化并传播不确定性贡献,为评估单个预测的可信度提供严谨、一致且可迁移的框架。
研究证明两层纯注意力 Transformer 可实现有限温度形式的 Q-learning,温度 τ>0 控制对贪婪动作选择的近似,τ→0 时退化为 window Q-learning。
研究者提出 Prune-and-Merge ViT,一种面向现成模型的免训练 token 压缩框架,结合基于类注意力的剪枝与基于相似度的合并来减少冗余并保留语义信息。在预训练的 ViT 和 DeiT 上,该方法在降低计算量的同时保持了鲁棒性,准确率优于现有 token 缩减方法。作者还引入 RAD 和 PFR 两项指标评估鲁棒性,分析显示混合 token 缩减不会引入类幻觉行为。
ChampionKV 是一种输入自适应的按注意力头预算分配器,用于长上下文 KV Cache 压缩,以最大聚合观察窗口注意力分数作为注意力集中度的轻量代理,对注意力分散的头分配更大预算、集中的头分配更小预算。
针对多智能体系统中非前缀 KV Cache 跨智能体复用导致模型性能最多下降 90% 的问题,LatentRemedy 用少量任务条件 latent token 帮助目标智能体在不重算共享块的情况下理解复用上下文,MLP 将目标前缀的最后隐藏状态映射为 latent token 并置于复用 KV 块之后,通过全预填充蒸馏训练。
针对扩散语言模型(DLM)中随机掩码导致的训练-推理不匹配问题,研究者提出可预测性感知画布选择与监督方法 PACS,用模型自身的可预测性来选择每个样本的注意力可见输入长度,并在参考 token 被置信度引导揭示前对其进行监督。在推理与代码生成基准上,PACS 在对比的 SFT 方法中平均准确率最高,单项基准上较原始 SFT 提升最多 12.84 个百分点。代码将在论文发表后发布。
研究将经验打包与回放(EPR)用于低延迟约束下的深度脉冲神经网络持续学习,结合 Batch Normalization Through Time 稳定的 VGG9 SNN 与 Spike Activation Maps(SAM),把脉冲活动解释聚合为空间注意力图,只回放信息量最大的图像块而非完整图像。
研究者提出 Virtual Head Attention(VHA),通过 Q Premix 与 Linear Postmix 两个线性操作,同时改善 KV cache 大小、训练与 prefill FLOPs 和模型质量这一"不可能三角"。
HaloBlock 是一种面向扩散大语言模型(dLLM)推理的难度感知自适应 halo 机制,通过双向累积熵刻画块解码难度,并在每个块两侧自适应分配双向 halo 区域以缓解边界上下文不连续。在 LLaDA-8B-Instruct、Dream-7B-Instruct 和 LLaDA-1.5 上针对数学推理与代码生成基准的评测显示,HaloBlock 在准确率与推理效率上均有一致提升,源代码已公开。
MERIT 是一个面向表格图像的三阶段推理框架,将序列化表格作为可选辅助输入,通过表格专用编码器适配、监督微调和强化学习实现证据选择与推理。该框架用重构、定位和颜色条件监督适配编码器,并以证据正确性、计算、最终答案和输出格式分别设置奖励,针对最终答案监督无法区分的检索与计算错误提供中间步骤反馈。研究在表格问答和事实验证任务上评估了该方法,并分析了视觉输入与各训练组件的贡献及跨数据集泛化能力。