DeepRubric:用证据树评分标准监督高效强化学习深度研究智能体
DeepRubric 提出一种数据构建框架,先确定有证据支撑的报告应被评估什么,再反向合成对齐的 query–rubric 对,用证据树递归扩展子问题、以叶子节点作为可验证评估目标。
DeepRubric 提出一种数据构建框架,先确定有证据支撑的报告应被评估什么,再反向合成对齐的 query–rubric 对,用证据树递归扩展子问题、以叶子节点作为可验证评估目标。
研究者提出 HiMPO,一种后见之明记忆策略优化框架,在轨迹级强化学习之外为记忆写入单独分配信用:每次更新时固定其余写入前上下文,比较目标答案在旧、新记忆下的对数似然,并用基于组相对后见相关性的软门控加权局部效用优势。在 Local Wiki Search 上,其平均 F1 与精确匹配较 MemPO 分别提升 2.6 和 2.2 个百分点,同时保持压缩上下文效率。
研究发现 RAG 在大型异构文档集上会出现"向量搜索稀释":语料从 54 篇增至 1,128 篇时,precision@10 下降 63%,答案所在文档的召回率下降 23%。
研究构建了含 263,911 篇长篇故事、覆盖 14 个 TTCW 维度的数据集,测试推理轨迹能否提升结构化文学评论生成。在 Qwen3-4B、Qwen3-8B 和 Nemotron-8B 上,无轨迹监督的分数模仿保真度更高且报告生成近乎完整,而轨迹监督使完成率降至 85.9%–90.9%。失败分析显示 88.6% 的失败推理生成在轨迹内出现语义重复循环。
SatPV-Field 将分布式光伏测量数据转化为图像式区域发电场并建模其时空演化,结合卫星短波辐射与气象预报,为单站预测提供位置化指导。在 496 个分布式光伏系统(446 个源站、50 个留出目标站)实验中,该方法将站点级 MAE 较最佳单站时序基线降低约 10.0%,较基于图的区域预测方法降低 2.5%。
研究基于 LISS 面板构建 LLM 数字人,用受访者背景变量和 2023 年前的调查历史预测其被留出的后续回答,覆盖四种 persona 架构、三个 LLM 和两项预测任务。数字人能改善与人类回答分布的对齐,尤其在稳定属性与价值观相关领域,但在个体预测上仍受限,且无法还原受访者的多变量结构。检索增强架构增益最明显,表现更多取决于人类回答结构而非模型选择。
研究团队开发了多智能体 copilot 系统 GUIDE,用于人机协作生成和更新临床实践指南。在 12 个 NICE 眼科数据集上,GUIDE 实现 88.85% 文献召回率、86.06% 证据确定性评级一致性和 91.67% 推荐意见一致率,平均每个数据集耗时 162.17 分钟,人工干预占 28.68%。
研究者提出异构智能体协同进化框架 HACE,通过相互学习让专用基础模型与 LLM 智能体共同进化:智能体以 on-policy 强化自训练方式学习,并由当前专用模型的已验证性能增益引导,其探索又反过来指导专用模型的监督学习。HACE 还用进化搜索优化两者的交互机制,在推荐系统、蛋白质功能预测和晶体稳定性预测三个领域的主任务指标上均优于所评估的自改进方法。
arXiv 论文《Understanding and Reducing Misalignment in Persuasion Optimization》研究为说服能力做强化学习训练对模型对齐的影响。
研究者提出 AdaptFuse,一个无需训练的框架,将概率计算从 LLM 中完全外化:符号模块维护离散假设集上的贝叶斯后验,冻结的 LLM 通过多样本 Dirichlet 聚合提供语义推理,两者经熵自适应融合按预测置信度自动加权。
研究提出 PLACID 级联流水线,用完全本地部署的 2B-10B 小参数模型实现临床缩略语消歧,避免将受保护健康信息传至外部服务器。通用指令模型检测缩略语准确率约 0.988,但扩展能力仅约 0.655;接入领域医学生物模型后扩展准确率提升至约 0.81。
研究以注射吸毒人群的丙型肝炎相关行为为例,评估 LLM 生成的行为输出能否表征个体行为异质性。在三个 LLM 中,28 项文献关联的无条件方向恢复率为 46-68%,而直接让 LLM 分类同一批关联时一致率达 82-93%;与 ABM 和调查相关模式的平均绝对差异分别为 0.11-0.13 和 0.15-0.18。
研究者提出 LoopRPT,一种专为循环语言模型(LoopLMs)设计的强化预训练框架,通过将下一 token 预测重构为下一 token 推理任务,用 EMA teacher 参考和带噪隐状态 rollout 将强化信号直接分配给隐式计算步骤。
研究比较多轮 LLM 任务中初始模型选择与后续交接对成功率和成本的影响,数据集包含三个 Qwen 模型在 BFCL、MultiWOZ 和 τ-retail 上的 34,204 次完整执行。
PopGen 是一个利用 LLM 从零合成语义多样化智能体的框架,先由 LLM 生成多样化的智能体行为文本描述,再将每种行为转译为可在环境中执行的代码策略。在四个协作环境中,与 PopGen 种群训练的协作者对未见伙伴实现了稳健的零样本协作,表现优于种群博弈基线;语义多样性随种群规模扩大而提升,并改善协作者的最差情况表现。代码已开源。
TeSearch 将测试反馈作为自进化智能体的可执行改进信号,用质量-多样性进化算法搜索既小又强的测试套件,并把套件规模作为行为描述符,在搜索中学习转移核以去噪 LLM 执行。
CALM-IT 是一个双智能体框架,通过追踪来访者状态与治疗师侧推断来指导策略选择和话语生成,在 8,232 段对话、686 个场景上取得四项 MITI 4.2 全局评分最高均值,且短对话与长对话之间的质量变化最小。其模拟来访者转向接受率达 64.3%,最强的转向之后出现更多改变性谈话、更少维持性谈话;消融实验显示移除对话动态组件会降低对话质量。
研究者推出 QuantEval,一个评估 LLM 能否完成量化金融"计算—实现—验证"闭环的基准,包含 1,575 个专家验证实例,覆盖知识问答、量化数学推理与量化策略编码三个维度。
研究者提出规则引导的 LLM 重构框架,从 123,786 条低分样本中构建出 54,888 条训练样本,在三个 7B/8B 基础模型上平均下游表现优于低分源数据及所有评估过的数据选择基线。该数据仅约 300K 全量数据的一小部分,却在三个基础模型上均取得高于全量数据训练的平均分。消融实验显示规则引导重构是相对直接融合的最大增益来源,人工审查也指出其在来源整合与答案忠实度上仍有局限。
一项发表于 COLM 2026 的研究提出并检验 LLM Brain Rot 假设,用真实 Twitter/X 语料构建垃圾与反向对照数据集,对 4 个 LLM 持续预训练后发现推理、长上下文理解、安全能力出现非平凡下降(Hedges' g>0.3),并放大心理变态、自恋等暗黑特质。
该研究基于 LightGBM 构建多时间跨度预测与决策支持架构,为 15、30、60、120 分钟分别建立回归器,联合预测未来等待时间与排队长度。模型使用时间滞后的交通、服务、密度与排队特征,并通过分位数 LightGBM 给出等待时间预测的 95% 预测区间。框架还输出机器可读建议、告警、聚合 KPI 与置信度信息,并建立可复现的合成数据基线。
研究提出一套四阶段 LLM 语料标注流水线(提示词工程、事前评估、批量自动处理、事后验证),通过 OpenAI API 在 60 小时内标注了 COHA 语料库中 143,933 条 consider 索引行,两项复杂标注任务准确率达 98% 以上。
研究者发布 LURE,一个用检索增强流水线生成的诱骗者-受害者对话合成语料库,基于 80 亿参数、拒绝机制被消融的开源语言模型构建。语料库含 2,121 段独特对话,覆盖 7 个标签和 4 个诱骗阶段,每段附 Plutchik 情绪字段,标签准确率 0.85、阶段准确率 0.93。真实与合成判别器区分两个领域的准确率为 91%,语料库、数据表与审计代码经审核后开放获取。
研究对比了两种几何条件神经网络代理模型在不同房间尺寸下实时预测室内气流与温度场的效果。基于画布的 CaNN 通过在固定画布中保留不同占用区域来显式编码房间尺寸,基于坐标的 CoNN 则使用归一化坐标通道,两者均采用 U-Net 自编码器分别预测气流与温度场。在高度和长度可变的简化房间基准上,CaNN 与 CFD 结果的一致性高于 CoNN。
研究者提出"预期评估"(anticipatory evaluation)设定,并发布 EVALCAST——一个包含 1,519 篇 arXiv 论文中 2,290 组描述-性能配对的数据资源,测试集包含模型知识截止后发表的论文。实验显示,前沿 LLM 通过回归预测绝对性能仍具挑战,而配对预测在匹配设定下可恢复相对性能排序;在截止后与流式评估上的表现相当,表明该信号并非仅来自已报道结果。
研究提出 Engram Injection,将事实存入 LoRA 适配器并通过 FiLM 条件注入时钟,基于冻结的 Qwen2.5-3B-Instruct 测试模型能否仅凭问题和当前时间回答事实更新。在 62 对更新前后问题上,两种适配器方法在盲审下均答对 0 对,而全历史提示答对 59/62、检索答对 62/62。结果表明适配器能存储事实,但结合事实选择与基于时间的版本选择仍未成功。
研究者提出免训练的剪枝方法 GBLM-Pruner,利用预训练 LLM 的归一化梯度(基于 Taylor 展开一阶项)确定剪枝指标,无需后续重训练或权重更新。在 LLaMA 系列、Qwen 系列和 DeepSeek 模型上,该方法在零样本、STEM 推理和代码基准上显著超越 magnitude pruning 与 Wanda,并与需大量权重更新的 SparseGPT 表现相当。
在三个开源 LLM 通过从 40 项编辑中命名一项来改进 GUI 智能体的目录式优化循环中,干净基态探针会低估提出者自身循环中的重复提出率(循环减探针的宏平均率为 0.32 [0.27, 0.37]),已评估的 harness-edit 配对提议占用 28-63% 的有效提出迭代。
论文提出 NoteBank,一种免训练、即插即用的稀疏情景记忆机制,在未知未来查询前先归档选定文本,用骨干网络原生特征进行写入与寻址,并通过 replay 走原生前向计算读取检索到的证据,无需外部嵌入模型、单独训练的检索器或独立神经阅读器。
LLM 智能体做自动研究时,无论单智能体长迭代、多智能体并行还是并行加通信,都会因历史累积而陷入停滞,编辑越来越少、越来越小。论文提出"遗忘"机制:定期丢弃所有智能体的会话与候选历史,从当前最优候选重启,在启发式编程、内核优化和模型训练四类任务上比并行智能体提升最高 15%,比单智能体提升最高 39%。
SwarmRSI 框架通过演化科学智能体集群实现递归自我改进,在 OpenProblems、NatureBench 和 MLE-Bench Lite 上取得 SOTA 表现。
研究为助手长期记忆设计了三分类任务契约(SUPERSEDED / NEEDS-CONFIRMATION / COMPATIBLE),基于 STALE 构建 500 对测试样本,评估类型化 System One 决策模型 Jev。
RM-OPD 是一个两阶段框架,先通过单域 GRPO 微调培养领域专家教师模型,再用路由在线策略蒸馏、领域贡献重加权和可选的评估标准上下文蒸馏,将多个教师整合为单一学生模型。在多个 RM benchmark 和两个基座模型上,RM-OPD 一致优于原生 Mix-RL 及其他强基线,并出现"教师超越"效应。
FARL 是一个全自动强化学习框架,通过联合搜索观测与奖励程序、学习算法和训练配置来自动化 RL 设计,并利用训练统计与行为诊断失败、提出并验证改进。在 Adroit Hand Relocate 任务上,FARL 以每策略 5M 训练步达到 97.1% 成功率,而 Eureka 和 LiMEN 为 0%、原生 PPO 为 1.0%。该框架在导航、运动和操作任务上均优于所评估的自动化基线。
研究提出 Radioactive Feedback,通过在 LLM-as-a-Judge 的奖励信号中编码注册好的行为偏好模式,使仅凭标量分数训练的模型也能被第三方追踪。评估者对质量达标的回答施加有界逐点调整,重复优化即可将该模式传递给他人训练的学生模型。代码与数学实验显示,这些偏好仅通过分数即可跨数据集迁移,并支持针对固定参考池的黑盒检测。
研究在基于超网络的持续学习框架中,冻结基座模型如何通过共享网络从上下文生成 adapter,并考察基座模型、参数更新与输入上下文三种知识来源的交互。在知识冲突下模型优先跟随上下文,其选择更多取决于知识呈现位置而非内容;多跳推理中模型无法可靠组合三种来源的知识,关键失效点来自超网络与基座模型及上下文的交互。
LintEval 是一个覆盖 C++、Python、Java 的多语言基准,包含 13,061 个程序与 171,662 条 lint 告警,用于评测模型在保持功能正确的前提下减少 lint 告警的能力。
MolHop 是一个跨骨架分子发现智能体框架,将约 160 万个商业分子骨架组织成由粗到细的层级动作空间,通过骨架导航与分子编辑进行长程搜索。
针对多数基于学习的 MCoT 方法按预定义阶段分别优化、导致推理碎片化和训练-推理状态差距的问题,研究者提出统一迭代推理框架 ReState,包含统一推理状态建模(URSM)与闭环推理状态学习(CRSL)两个组件。
CondMSP 将材料合成规划从配方预测扩展到执行感知规划,通过联合预测器与变量专属专家预测温度、时间和气氛,并将其同时用作工艺上下文与执行需求。在共享约束下,该方法将参考配方回收率从 27.9% 提升至 32.9%(每个目标 3 次模拟炉次),30 次试验下从 34.7% 提升至 40.0%。新增的 2,344 个目标评测集支持泛化到氧化物主导训练化学之外的材料。