SOMA:四足机器人如何用分层强化学习完成物体堆叠操作
SOMA 是一个面向四足机器人的分层强化学习框架,可实现多物体堆叠的全身非抓取式操作,并首次引入显式机身高度控制,将传统二维平面推动扩展到三维推动策略。该框架用 S5 编码器的高层操作策略预测目标跟踪指令,配合动态调整腿部站姿的底层运动策略,在仿真中单物体重定位成功率达 90.3%,双箱动态堆叠达 90.1%(位置误差 0.05 m、朝向误差 1°)。
SOMA 是一个面向四足机器人的分层强化学习框架,可实现多物体堆叠的全身非抓取式操作,并首次引入显式机身高度控制,将传统二维平面推动扩展到三维推动策略。该框架用 S5 编码器的高层操作策略预测目标跟踪指令,配合动态调整腿部站姿的底层运动策略,在仿真中单物体重定位成功率达 90.3%,双箱动态堆叠达 90.1%(位置误差 0.05 m、朝向误差 1°)。
针对 R-Zero、Agent0、Skill Self-Play 等自进化循环中"任务看似可学却未必带来有效更新"的选择-更新缺口,HeirCommit 冻结更新后的模型并用全新评测题决定是否继承,在相同接受率下将有害更新占比相对随机继承降低 68-83%。EvoHeir 进一步分离参数继承与经验继承,在四个骨干模型上取得最佳数学与通用推理均值,数学均值较最强基线 Agent0 提升 5.3%。
针对全页文档解析中页面级优势无法定位局部错误的问题,研究者提出结构对齐的信用分配框架 P2TPO,通过参考元素对齐、Unified Anchor Pricing(UAP)和 Span Credit Redistribution(SCR)将块级信用细化到 token 级。在六个文档解析基准上,P2TPO 的种子平均分超过所有对比的策略优化基线,并在不同模型规模和初始化下均取得增益。
研究团队提出 Screwtape 流水线,用 LLM 攻击者编辑真实智能体转录,使 Claude Code 和 Codex 的智能体产生指定危害(如泄露 API key 或生成未被监控的智能体),同时规避仅检测动作的监控器。在 94 份转录、252 次运行中,它生成 35 个通过验证器且逃过自建监控器的攻击,其中 6 个经人工确认有效,还逃过了某前沿开发者提供的留出监控器。
研究者提出 Conditional Program(CP),一种只重建输入所请求行的压缩表示,用短码加局部缩放并共享重建程序,以 Gaussian trellis 实例化。其两比特编码相比 2-bit round-to-nearest 将输出 KL 降低 41–63%。在 DeepSeek 上,该方案把表存储从 203GB 降至 51GB,为表常驻 GPU 时留出更大工作负载空间。
研究用 GraphCast 和 FourCastNet 两个 AI 天气模型预测美国本土各县 24 至 120 小时后的停电,以队伍部署所在县覆盖的停电负担比例评估预报价值。
研究提出可复现对决赌博机问题:共享内部随机性、比较结果独立时,两次执行需以至少 1-ρ 概率每轮选出同一有序臂对。基于 Beat-the-Mean,作者设计了首批具次线性遗憾的算法:松弛随机传递性下遗憾为 Õ(γ⁸K⁴H_p/ρ²),强随机传递性下基于同步消除改进至 Õ(K²H_p/ρ²),线性对决赌博机下为 Õ(d³√T/(c_μρ))。合成与语言模型偏好实验验证了可复现性与次线性遗憾。
FIRM 是一个单轮联邦 LLM 遗忘服务端聚合框架,利用客户端本地 Fisher 统计量构建 Fisher 归一化基础合并,并对保留敏感参数施加显式控制,以缓解跨客户端聚合导致的幅度爆炸问题。
TGrasp6D 是一种基于视觉语言的方法,可在零样本条件下为给定任务和单张 RGB-D 图像生成任务导向的 6DoF 抓取。它先推理任务对应的语义可供性与物体几何生成任务先验,再通过 6DoF 位姿优化在避免碰撞的同时保持任务一致性。
研究将人类对 LLM 智能体的干预视为定位内部失败计算的标签,在受控环境中针对"请求已明确却仍追问"这一失败展开实验,覆盖 Qwen2.5-3B、gemma-2-2b、OLMo-3-7B、Mistral-Nemo-12B、Phi-4 五个合格模型。
SHRED 通过大规模异构自博弈从随机初始化联合训练车辆、行人和骑行者,无需演示数据或轨迹回放。在 Waymo Open Sim Agents Challenge 上,SHRED 同时控制三类道路使用者,超越无演示自博弈基线和依赖演示训练参考策略的先前自博弈方法;仅用 nuPlan 地图几何训练的策略在 Waymo 零样本评测中保持可比真实感。
研究将扩散语言模型的连续时间前向与反向动力学嵌入开放量子系统框架,构建 τ-leaping 解缠方案,在每步同时更新多个 token 位置,实现基于叠加提示(SoP)和叠加思维(SoT)的生成。
研究将序列贝叶斯实验设计(BED)摊销进 LLM,通过信息增益奖励显式训练引导动作选择的推理过程,实验生成模型独立于 LLM 自身信念。在 Twenty Questions 上,所得策略提升信息获取与任务表现,以显著更低计算成本超越推理时和训练时 BED 基线,并泛化到未见类别。
针对财报电话会 NLP 基准中预测目标早于文本或音频输入完成的"事件内时序错配",论文提出 Availability Contract,要求基准明确输入边界、输入可用性证据、结果起点及所支持结论。
研究者提出 ReasonUni,一个推理增强的重建式后训练框架,让统一多模态模型在给定原图和编辑指令后先推理"改什么、怎么改"并描述目标状态,再据此生成目标图像。配套的 TreeGRPO 采用树状强化学习,为每条推理路径采样多个候选图像并聚合视觉奖励,统一目标下同时更新理解与生成两个模块。多个 benchmark 上理解与生成均取得一致提升。
研究用机制可解释性在 ViT-Base 16 中定位到一个专门读取胸部 X 光片角落标注文字的注意力头 L8H10,在 200 张 COVID-19 图像中有 62% 关注标注而非肺部病变。
研究者推出 INFUSE,一个覆盖长周期智能体工作流全生命周期的间接提示注入(IPI)端到端基准,包含 40 个真实任务和 56 种攻击场景(分属五类威胁)。
Waypoint-OPD 通过引入同一 RL 训练的中间教师检查点,比较早期与晚期策略偏移在动作偏好方向上的一致性,并据此对端点偏移进行门控,方向相悖时予以抑制。该方法仅需额外一次冻结教师打分,在数学与代码推理的六种领域-学生组合中,以 Qwen3-4B 为教师、Qwen3-8B/14B/30B-A3B 为学生,均取得最高领域平均分。Qwen3-8B 消融显示,移除或打乱门控会降低数学推理表现。
Optimal Hydra 是一个基于 Transformer 的模型异构联邦学习框架,专为 LLM 微调设计,结合全局层选择与客户端专属注意力头选择,利用本地数据分布生成客户端专属子网络 Hydra-nets。这是首个面向 LLM 微调的模型异构联邦学习方法,在三个数据集上显著优于基线方法,同时降低了本地资源需求。
研究者提出对抗式参数分解(VPD),将语言模型参数拆解为仅实现模型学习算法一小部分的简单子组件,且只需少量子组件即可解释网络对任意输入的行为。该方法在大量子组件被消融(包括对抗性选择的消融)时仍能保持网络的输入输出行为,从而支持一种新的“电路”分析。论文共 124 页、47 张图,建议在线配合交互式图表阅读。
研究通过梯度范数对注意力头排序与划分,实现语言模型的稀疏持续强化学习微调。在数学、指令遵循和编码任务上,微调高排名注意力头持续优于低排名头,且常能匹配更密集的基线;注意力头划分则提升旧任务保留能力,同时保持对新任务的适应。
研究者提出 WorldCast 基准,包含 8 个类别共 320 个手工设计案例,用于评估多步世界状态预测任务,并测试了 12 个代表性模型。GPT-Image-2.5 System 得分 72.8,展现出早期视觉状态预测能力;Nano Banana Pro 仅得 42.8,最佳开源模型得分 20.1。实验表明强生成模型能有效借助其底层语言模型的能力。
研究者推出 ImpactBench,一个专家引导的开放平台,用于从心理、生理和社会维度评估生成式 AI 模型对人类的影响。当前版本包含来自 26 个基准的 809 项指标,对十款前沿 LLM 在 48,540 段模拟多轮对话中进行评测,结果显示模型在 68.7% 的评测中促进了期望行为,但仅在 53.1% 的情况下避免了伤害。
ZoomCap 将细粒度图像描述建模为"可恢复的视觉信息迁移",通过草稿描述路由条件知识检索、OCR 敏感阅读、覆盖缺口恢复与自适应视觉缩放,仅对最复杂的合格区域分配更深裁剪。
PocketTSLM 将 OpenTSLM SoftPrompt 部署到消费级智能手机,通过把编码后的时间序列窗口作为嵌入向量注入而非文本 token 化,实现完全端侧推理,推理过程中不传输任何健康数据。
RICE-Alpha 是一个 point-in-time 股票打分框架,将历史感知的多视角 Base Alpha 与基于历史事件延续的可靠性校准残差修正分离,通过 Multi-Tier Memory Layer 和 Typed Event Agent 构建事件状态图。
研究团队发布开源确定性标注流水线 TimeCap,无需语言模型参与、直接基于信号生成标注,可通过编写通道定义扩展至新 schema。将其应用于 MyHeart Counts 可穿戴数据集 OpenMHC 后生成 MHCap,覆盖 19 个 Apple HealthKit 通道、908,944 人日共 7,005,763 条标注。
研究测试了在固定语言模型上以行为层实现表达不确定性、来源感知断言与显式信念修正,并在合成模型与 Qwen2.5-0.5B-Instruct 上评估。
研究提出 PACC(Prosodic Adjustment with Conversational Context)方法,通过深度神经网络调整语调、重音和节奏等韵律特征,并采用 HiFi-GAN 进行语音合成,将朗读语音转换为自然对话语音。实验显示该方法在自然度和模型准确率上均有提升,并在语音转换任务和 MOS 评测中建立新基准,可扩展至其他语音转换应用。
研究者提出 SAE Additivity Residuals(SAR),用于衡量稀疏自编码器特征在选定交互阶数之上未被解释的行为变化。在 18 组模型与行为设置中,学习到的 SAE 坐标一阶残差均低于保持和不变的随机旋转;但坐标并非完全可加,成对项在所有设置中均改善留出联盟排序。
一项日记研究与半结构化访谈(N=10)考察了人们如何在多个多模态大语言模型(MLLM)之间组织日常工作。用户会在模型中建立随使用场景变化的主次层级,并形成由任务聚合触发的个性化切换模式,以调节投入、延迟与输出可信度。研究指出,现有 HCI 研究多聚焦单一智能体交互,多 MLLM 协同编排仍待探索。
研究者发现,同一输入在不同指令下隐藏状态向量的差异集中在一个低维"表达子空间"中,无需基准标签即可识别该子空间,并从线性预测器中移除其贡献以获得"孤立判断"。在正确性、蕴含和安全任务上,孤立判断在未见指令下仍保持可靠;当判断问题被否定时,蕴含任务 AUROC 从 0.504 升至 0.825,安全任务从 0.480 升至 0.891。判断在表达子空间干扰预测器之前的更早层即可读出。
研究提出用主动学习结合人在回路(HiL)优化,确定分阶粘弹性模型参数以提升触觉渲染的真实感。该方法通过定性反馈为每个个体优化参数,再将HiL结果聚合为感知图,从中选出在一般人群中广泛被认为真实的群体级最优参数。针对三种粘弹性材料的实验验证了该方法的有效性,有望改善医学训练模拟器的sim-to-real迁移性能。
研究提出重分配敏感度分数(RSS),用于识别在提示词变换下方向一致且可复现的大幅特征响应。在覆盖 8 个语言模型、27 个预训练 SAE 上,RSS 支持集在未参与选择的变体上呈现可复现的重分配特征。在两个冻结安全读出中,RSS 支持侵蚀结合完整干净边际,以中位数 20 和 19 个特征分别取得 0.935 和 0.958 的复现失败 AUROC,低于完整侵蚀的 0.965 和 0.964。
KULTURE Bench 是一个专为韩国文化设计的评测框架,包含文化新闻、成语和诗歌数据集,从词、句、段落三个层面评估语言模型的文化理解与推理能力。研究团队用该基准测试了不同语料训练的模型,结果显示模型对韩国文化深层文本的理解仍有较大提升空间。
研究提出 RaRE(Rubrics as Rewards with Ensembles),一种面向 RaR 训练的评委集成策略,包含用评委 logprobs 加权高置信评委的 soft-Likert 奖励,以及将高分歧 rollout 排除出 GRPO 更新的 drop-on-disagreement 掩码。
研究团队推出 FDE-Gym,一个包含 95 个端到端交付任务的基准,覆盖 20 个客户场景、18 个行业,由行业专家从真实交付项目改编。在模拟客户环境中,13 个模型配置(来自 7 家提供商)表现最佳者平均得分仅 0.56,95 个任务中只解决 14 个。发现未明说的约束是主要瓶颈,即便最佳配置已获取全部关键事实的 23 个任务中,也仅 10 个达到 0.8 以上业务提升。
研究在 15 个预训练 LLM(70M 至 14B 参数,来自三个模型家族)及从零训练的最小 Transformer 上发现,LLM 在 N-back 任务中表现出与人类相似的工作记忆特征:记忆负载 N 增大时性能下降,错误集中于相邻错误位置的干扰项。
研究提出面向自主长周期机器学习工程优化的后训练方法,并据此训练出 35B MoE 智能体模型 MLExpert。该方法通过 Kaggle-MLE Factory 构建可执行任务与交互环境,用分层智能体 SFT 迁移工具使用和编码能力,并用 Windowed Interaction RL 把相邻实验结果之间的多轮决策作为一个执行窗口赋予共享结果奖励。
研究提出 CARE-SD 四模块架构,用于本地小语言模型的自我披露分析,在 82 份网络安全访谈上测试 Llama 1B、Qwen 1.5B 和 Llama 3B。该架构将 Llama 3B 的 Macro-F1 从 0.80 提升至 0.88,并将无依据论断减少 60%,3B 模型在类别 Macro-F1 上追平 20B 参考模型。