用强化学习让模型学会"感知到行动"规则,提升心智理论推理
研究用 GRPO 训练 Qwen2.5 和 Llama3,让模型生成连接感知与行动的 if-then 规则,在四个心智理论(ToM)基准上优于提示、监督微调和 think 推理。3B 以上大模型生成的规则还能迁移,提升 GPT-4o-mini 的下游表现,说明显式规则可弥合 ToM 推理差距并支持跨模型知识迁移。
研究用 GRPO 训练 Qwen2.5 和 Llama3,让模型生成连接感知与行动的 if-then 规则,在四个心智理论(ToM)基准上优于提示、监督微调和 think 推理。3B 以上大模型生成的规则还能迁移,提升 GPT-4o-mini 的下游表现,说明显式规则可弥合 ToM 推理差距并支持跨模型知识迁移。
研究团队提出 DressAgent,一个基于视觉智能体的分层系统,可从单张图像重建可仿真的任意层数 3D 服装缝纫纸样。该方法基于 GarmentCode 构建了首个超 15K 套服装的多层缝纫纸样数据集,通过图层规划与 Tailor、Critic、Orchestrator 智能体闭环细化,大幅超越前馈方法,并在远少于可微优化的时间内达到或超过其效果。
研究者提出扩散 U-Net 自表征对齐架构 U-SRA,在训练中将高噪声条件下较早层的弱表征与低噪声条件下较后层的更优表征显式对齐,并采用对齐损失引导模型学习良好的内部表征。该方法用于视频背景音乐生成,通过交叉注意力机制同步音乐与视频片段,在基准视频-音乐数据集上的视频-音乐对齐度和整体音乐质量等关键指标上超越当前最优水平。
研究通过测量概念在两个 LLM 之间传递的效果,发现概念可分为三类:可完全表达(如"笑话以反转结尾")、未来更强模型或可表达(如"故事世界观连贯性")、以及面临可表达性上限(如"喜剧声音",其含义与身份和社会群体意识绑定)。研究提出提示词优化算法,在基准上比现有算法提升最高 14%,并发现可恢复概念可通过定义和解释传递,不可恢复概念即使给出示例也无法传递。
一篇 arXiv 论文批判性审视美国现行数据可携权监管框架,指出当前法律概念仍偏向服务提供商和数据控制企业,而非终端用户。文章主张转向以人为本的数据治理范式,将数据视为数字时代个人身份的核心,并交由个人掌控。作者认为,这种以人为本的数据可携权视角对构建面向消费者的 AI 应用、进而形成 AI 驱动的未来数据生态至关重要。
研究者提出 Function-Space Policy Optimization(FSPO),一种单策略框架,将当前特权适应与函数空间时序整合相结合,通过存储稀疏的历史 next-token 分布作为固定时序目标,无需维护持久教师模型。
研究者提出大决策模型(LDMs),让语言模型通过一次 prefill 前向传播,直接输出运行时指定标签的显式概率。
研究者提出选择性排名保持 SFT(SRP-SFT),一种软边界目标:对参考模型 top-K 非目标 token 对的参考缩放下界施加 hinge 约束,在固定 teacher-forced 前缀处应用,达到所需下界即停止。
针对语言智能体强化学习中奖励稀疏、缺乏对动作后果显式监督的问题,研究者提出 DGS-WM(决策引导选择性世界建模),通过决策引导观测选择筛选有决策价值的观测单元作为世界建模目标,并用置信度自适应加权调整监督强度,与 RL 损失在同一策略模型上联合优化。在单跳/多跳问答和交互式网页任务等多个 benchmark 上,DGS-WM 在不同模型规模和 RL 算法下均取得一致提升,优于全观测世界建模方法。
研究揭示持续技能内化存在两阶段遗忘:先失去从原始请求调用旧技能的能力(技能寻址遗忘),仅提供正确技能名可恢复;进一步训练后连条件执行也退化(技能执行遗忘)。
研究者将智能体轨迹重新定义为动作与环境观测共享嵌入空间中的路径,发现同一任务的成功与失败 rollout 在该空间中可分离,简单判别器在三个智能体基准和三个策略模型上预测结果 AUROC 最高达 0.95。
针对 LLM 难以识别人为伪装的有害内容,研究者提出 PASP(Perception-Aware Adversarial Self-Play),通过构建文本、语音、视觉多感知视图并结合对抗自博弈,让攻击方生成保留意图的规避表达、防御方以意图不变奖励学习识别。
CoverSynth 是一种从无标注语料出发、以覆盖检索需求和系统能力为目标的检索评估集生成器,通过确定性检查定位证据引文、模型检查评估语义有效性来保证 ground truth 可靠。
研究者提出 τ-Emotion-Bench,一个覆盖十个领域、在保留任务目标前提下用情绪条件化用户交互评测工具调用智能体的基准,并配套可扩展的数据生成管线 Tracer。实验显示前沿智能体在情绪变化下仍不可靠,平均任务成功率与稳定完成率之间存在明显差距;Tracer 生成的监督信号可持续提升不同规模 Qwen3 模型,并迁移到 τ-Bench 与 τ-Trait。
可验证指令遵循基准只看约束满足,前沿模型可凭几乎无实质内容的回答拿满分,用同一验证器作训练奖励会引发奖励黑客。为此提出 CALIF,用冻结参考策略在仅给定请求下评估回答似然,加入校准似然奖励,无需额外评判器或奖励模型。
一项实证研究用 1.7B、8B、27B 的 Qwen 模型在确定性工具工作流中对比不同状态表示下的监督学习与迁移表现。H16 交叉实验中,紧凑视图训练的 1.7B 适配器在紧凑视图下完成 50/50 留出任务,全状态视图下为 0/50,8B 适配器对也呈现类似不对称。27B ScienceWorld 研究中紧凑状态训练在两种视图下均提升局部准确率,表明迁移模式依赖任务与观测构造。
研究利用 PhotoMappers 十余年众包灾害影像,结合街景(SVI)与遥感影像(RSI)做跨视角地理定位,并评估视觉语言模型的地理推理能力。融合 VGI、SVI、RSI 与 Sinkhorn 重排序后达到 40.90% R@1、61.10% R@5、69.45% R@10,但年度 R@1 在 25.00% 至 65.07% 间波动。
在内存受限的本地部署场景下,用较小或压缩后的模型并行生成多个候选答案、再借助公开或模型自生成的测试筛选,可恢复因模型规模或压缩损失的大部分准确率。7B Qwen 模型八次并行尝试在 MBPP+ 上基本追平 32B 模型,在另外三个代码生成基准上超过它,同时模型内存占用约少 4 倍、速度最高快 6 倍、能耗更低(基于 Nvidia GPU 实测)。
研究者提出 SuperAI 跨架构多模型融合框架,通过正交对齐低维任务相关表征,将多个源模型的互补能力注入宿主模型。在 3 个宿主模型、15 个能力域上的实验显示,SuperAI 的平均领域得分高于所评估的跨架构融合方法,且随源模型数量增加能更好地保留通用能力。消融实验验证了正交对齐、非线性残差映射与联合监督的有效性。
研究分析了 Guide Assisted GRPO 在长程 LLM 智能体任务中的课程设计,考察初始位置、交接单元和移动规则对无辅助任务完成率的影响。在 BFCL 上跨三种模型规模,固定轮级阈值下从接近完成处起步更有效;更细粒度的交接本身帮助不稳定,但基于结果信息的工具调用选择在已训练和未训练任务类别上均优于 GRPO。引导式起步在 AppWorld 两个评测划分上也提升了成功率。
研究者提出反事实门控支撑分解(CGSD),一种四臂、预算匹配的实验设计,将门控效应拆解为支撑内选择、支撑间再分配及二者交互项。在韩英与韩日检索任务上,支撑内选择是唯一超出校准零假设区间的成分(+29.7 与 +5.6 保留项,30/30 正向重复),模型置信度阈值门控也复现该模式(+27.3 项,9/9 正向)。该方法可避免将支撑再分配误读为样本级门控质量。
OntoAR-HAR 是一个本体引导的智能体 RAG 框架,结合静态群体知识与个性化记忆,用于基于传感器的人类活动识别。其树状活动本体将分类分解为语义相关活动间的局部决策,静态库提供节点约束示例,离线发现的可执行信号特征提供数值证据,推理时个性化库收集用户观测数据。跨被试与异构传感实验显示,分层检索与个性化记忆在多个 LLM 主干上带来互补增益,达到 SOTA 性能。
研究者发布 ListQA 基准,包含 9,045 道人工校验问题(错误率 1.7%),要求 LLM 回忆多个事实并组织成 3-10 个元素的结构化列表。基准测试 34 个模型后发现,最佳标准推理模型 LLM-Judge-F1 低于 37%,提供源 Wikipedia 页面可大幅提升分数,表明模型能组织事实但难以仅凭参数检索。数据集与评估代码已开源,论文被 NeurIPS 2026 接收。
针对低比特量化会损害推理模型长链思维的问题,研究者提出训练后量化方法 RECAP,通过动态前缀校准和前缀读取几何,在模型实际读取的历史上下文上校准量化误差。在 W4A4KV4 设置下,RECAP 使 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上准确率较基线提升 13.3 个百分点,Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。
MoMaTune 提出"Model、Match、Tune"两阶段后训练策略,解决解码器语言模型在数值数据上的监督不足问题。在 169,285 条记录、340 个输入字段中 339 个为数值的八个公开数据集上,1.5B 参数下 Model 阶段将掩码值填补聚合分数从 0.106 提升至 0.401,正确上下文增益从 0.058 升至 0.167。
研究者提出 DivAlgo 基准,包含编程问题的算法多样化解法数据集,并引入轻量级相似度指标以支持大规模评估。对 24 个现代代码生成模型的实验显示,模型无控制生成的代码多样性仅为人类的约 31%,最佳多样化策略也只能达到约 70%。模型虽可被引导按人类策略生成解法,却无法复现人类解法的多样性。
Plant Memory 将技术语言处理(TLP)应用于 SAP PM 工单导出,构建 ISO 14224 对齐的维护本体,每条抽取事实都带置信度、证据来源和验证状态。
一篇综述系统梳理了面向空间推理任务微调预训练多模态大语言模型(MLLMs)的方法,涵盖监督学习到强化学习,重点关注所用数据集。研究将相关工作分为数据集设计、数据集构建与评估三类,并归纳出规则模板、LLM 提示、程序化生成和人在回路四种固定空间标注构建方法。评估方面存在评分方法、容差指标和基准类型的显著差异,未来方向包括统一动态标注、高效空间推理、评估标准化、扩展空间范围与以人为中心的空间交互。
HarnessNet 提出面向多智能体系统的分层 Harness 演化框架,其基本单元 Agentron 由可演化的 forward harness、基础模型和仅能观测并修改该 harness 的本地优化器组成,Agentron 通过分层图反向传播环境反馈。
研究团队提出 GUI 定位数据集 ScreenRef 与 Distillation-to-Reinforcement Learning(D2RL)方法,基于 Qwen3-VL-8B-Instruct 经 SFT 与 D2RL 顺序训练得到 GroundGUI-8B。
研究提出 RFDPO(Reflective Feedback-Driven Prompt Optimization),通过追踪恢复(错变对)、退化(对变错)和 churn(所有结果变化)来引导提示词迭代,并记录优化过程中的提示词改动。
SocraticRepair 是一个规划引导的苏格拉底式辅导框架,用于程序调试与错误概念修复,通过在四个预处理编程数据集构建的合成多轮辅导对话上微调 Qwen2.5-Coder-7B-Instruct 实现。实验显示,该框架在逐步引导和提问质量上得分更高,并大幅减少过早泄露答案的情况,但可靠的教学计划生成仍是待解难题。
研究利用 Pythia 和 OLMo 的中间检查点,在 teacher-forcing 评估下追踪 LLM 跨训练步与模型规模的语言习得过程。结果显示模型习得形态结构远早于语义嵌入稳定,训练数据集规模对分歧识别有正向影响,而预训练中的共现与推理时的重复则产生负面影响。
研究者提出 Welfare-Aware Preference Acquisition(WAPA),用辅助参考模型估计每条查询的边际福利增益与个体效用,在固定查询预算下按估计增益选择查询并更新受试者效用,并证明了该算法对估计福利目标的精确最优性。
研究者提出 RetroRLFF,从监督训练的 decoder-only Transformer 出发,用冻结的前向反应模型预测产物,以参考一致性与前向一致性组成的序列级奖励优化逆合成反应物生成。
论文提出 The Agentic Scientist,一个面向人类研究者的端到端分布式流水线,可与现代编码智能体协同开展计算研究。系统把研究拆分为任务起草、想法生成、规划、沙箱实验、结果聚合、基线与消融构建、事后分析和报告撰写,由 meta-controller 管理并行研究智能体并在各阶段执行 rubric 验证。
研究者提出 forecast grounding 预训练原则,要求语言对齐的时间序列表示在适配下游任务前仍能预测未来演化,并据此构建 LOTUS:将每个时间序列通道切分为不重叠 patch 映射进 LLM 嵌入空间,再由时间序列 token 的隐藏状态预测下一个 patch。
一项案例研究将 DeepSeek-R1 的 CoT 推理能力蒸馏到 Qwen2.5-7B,在 John O'Bryan 数学竞赛题上把准确率从 64.67% 提升到 69.43%(5 次独立训练均值,标准差 0.17%),并在 MATH-500 上达到 73.1%。
研究提出 Latent Compaction,通过测试时训练学习文档专属的紧凑 KV 缓存,模型权重保持冻结,训练仅用文档通用提示词、不接触下游问答。在 RULER 上 32× 压缩下准确率达 96.7%,KVZip+ 仅为 40.0%,并在 Qwen3 和 MiniCPM5 上展现跨模型规模与家族的检索增益。
巴西葡萄牙语原生 LLM Manacá-1B-Instruct-2 发布,基于 1.72B 参数的 Manacá-1B 用 291,223 条 SFT 语料完成第二代后训练对齐,三次 DPO 尝试全部为负结果。