GraphACM:基于图的动作一致性度量,用于 LLM 智能体的不确定性量化
研究者提出 GraphACM,一种基于图的框架,通过将同一任务多次 rollout 中的等价状态合并为有向动作标注图,在共享决策状态上比较动作,实现细粒度行为一致性度量与不确定性量化。
研究者提出 GraphACM,一种基于图的框架,通过将同一任务多次 rollout 中的等价状态合并为有向动作标注图,在共享决策状态上比较动作,实现细粒度行为一致性度量与不确定性量化。
研究提出 FEB-30 基准,用 30 条事实演化轨迹(覆盖 6 个诊断类别、3 个难度等级)直接检验智能体记忆存储,而非以下游问答准确率作为代理。
CARA 是一种免训练的因果引导检索智能体,通过"结果性"(加入证据是否提升可答性)与"必要性"(移除证据是否削弱可答性)两项因果相关性标准评估检索到的证据,并结合路径一致性与倒数排名融合聚合多智能体证据。在三个 STaRK 数据集上,CARA 持续优于现有检索器,同时提升答案质量与忠实度,且检查的图节点和检索操作更少。
研究团队提出 Hy-Memory-30B-A3B,一个跨 Mem0、MemOS 和 Hy-Memory 训练的紧凑型长期记忆写入模型,通过 Memory On-Policy Distillation 学习各框架写入协议,再用 Memory RL 结合分块探针、跨块归因奖励与 chunk 级 GRPO 优化下游可答性。
OntoAct 是一个基于本体抽象的假设驱动神经符号框架,将个体经验转化为实体类型、关系与条件上的公理,由 LLM 提出假设与动作、符号验证器依据当前观测核验其成立条件。
研究定义并系统考察了 LLM 文本评分中的"量表敏感性",即评分量表设计导致的分数变化,并将其区分为归一化分数变化的数值敏感性与分数解读变化的语义敏感性。
CoWorld Reasoner 是一个以视频世界模型(VWM)为统一视觉推理引擎的智能体框架,通过 Video World Model-Driven Harness 以工具形式暴露多种视觉操作,并用技能引导 VLM 决定是否想象、选择操作、构造生成请求并解读视觉证据。
针对现有智能体强化学习仅假设单会话轨迹、与上下文压缩和子智能体分叉等推理时执行方式不匹配的问题,研究者提出多会话智能体强化学习设置及 Mosaic 方法,采用无 critic 的分层优化,在轨迹层引入会话使用信号、在会话层按估计边际贡献调整优势。在 BrowseComp 上以 Qwen3.5-4B 测试,Mosaic 在上下文压缩和子智能体分叉场景均优于广播式方法,且平均使用会话数更少。
RoleQ 是一种按 Transformer 单元功能角色而非权重矩阵布局来放置缩放因子的量化框架,无需搜索、校准或存储状态。在 0.6B 到 14B 的多个模型家族中,其三值量化困惑度较基于布局的方案最多降低一半,而按行缩放会让 MMLU 跌至随机水平。
研究者提出 Lexical Reference Frames,通过模型自身剩余层读取隐藏状态,为每个隐藏状态构建原生参考框架。在 SmolLM3-3B 和 OLMo3-7B 中层深度,一阶框架 LexFrame[1] 一致性达 0.97,远超固定透镜的 0.30 和 0.35,读取状态与模型输出仅差 0.16 nats。
论文提出 CIM-Embed 框架,通过监督对比学习让模型将图像、文本与指令直接映射为嵌入向量,再由 HDBSCAN 在无需真实簇数的情况下完成聚类划分。
研究提出 CLUE 两阶段训练流程,将监督式证据推理与由 Grounded Information Utilization(IU_G)引导的 GRPO 结合,让模型自行发现对话中的关键线索。
受人类记忆机制启发,研究者提出增量学习框架 Co2In,采用工作记忆与长期记忆协同的双层架构,通过知识编码、巩固与整合实现高可塑性与稳定性的平衡。在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 的无样本 Class-IL 与 Task-IL 设置下,Co2In 取得 SOTA 性能且内存消耗高效。该工作已被 IEEE TPAMI 接收。
EMO 是一个无需训练的测试时计算框架,受 EM 算法启发,交替进行问题特定的上下文估计(E 步)与分布精炼(M 步),通过外部评判模型的文本梯度修正系统上下文,并利用上下文引起的 logit 位移构建置信度约束的 logit 修正。
RSIFlow 是一个递归自我改进框架,将自适应工作流编排与元智能体能力进化相结合,通过任务-智能体轨迹和环境反馈诊断性能瓶颈,动态选择组件级改进工作流。元智能体将工作流结果蒸馏为组件级技能与跨组件原则,进化自身 harness 以优化后续编排。在六个基准和两个骨干模型上,RSIFlow 在所有基准上取得 SOTA 平均性能,消融实验验证了自适应编排与元 harness 进化的贡献,代码已开源。
研究者提出 PremiseSQL 基准,包含 1800 条存在前提缺陷的 NL2SQL 查询及对应的 1800 条原始查询,覆盖四类前提失败,用于评估模型识别缺陷查询并拒绝生成误导性 SQL 的能力。实验显示,前沿 LLM 默认高度信任前提、很少批判缺陷前提;强化批判导向的提示词虽能提升检测与拒答,但也会增加误判无效并抑制对原始查询的 SQL 生成。
研究者提出 PhysClosureBench,包含 50 个经专家验证、目标明确的研究任务,覆盖强场、阿秒及邻近物理领域,用 20 项 Atomic Score 衡量局部科研成果,并以 Research Closure(RC0–RC4)评估研究问题的完整解决程度。
Intern-Decision 是一组 0.8B、2B、4B 多模态决策模型,可从文本和可选图像输出结构化选项及候选概率,其自回归掩码语言建模目标在每个字段放置一个决策占位符,全部字段在单次因果前向传播中完成评估。
DeciCAD 是一个面向 CAD 领域的原生 harness,通过暴露语义 CAD 动作、决策导向观测与环境反馈,从交互轨迹中提取因果决策监督,并用 SFT 与几何接地的在线 RL 训练动作策略。
研究提出对 MoE 大语言模型做个性化适配,在三个开源权重 MoE LLM 上训练 crosscoder,识别出编码不同个性化特征的专家。个性化后的 MoE 模型仅激活部分参数即可与稠密 LLM 表现相当,多义性更低,且因果干预显示这些潜在特征足以复现个性化模型行为,不同个性化特征对应不同路由路径。
研究者提出上下文偏好条件化 Pareto 集学习框架 ICPSL,通过在大量合成先验数据上预训练基础式超网络,使其在给定未见问题的离线观测后,单次前向传播即可生成该问题的偏好条件化 Pareto 解模型。生成的模型可复用于任意偏好预测解,无需针对具体问题训练或逐偏好搜索,在合成与真实问题上均生成高质量 Pareto 解并大幅加速问题特定解模型的构建。
针对多变异体混合语料造成的“变体碎片化”问题,研究者基于 70,000 对多变异体数据,将 mT5-large 专精化到墨西哥 Santa Ana Tlacotenco 所说的 Nawatl 变体 Masewalkopa(nhn)。
研究团队提出 Data World,一个多智能体引擎,通过先定义文件背后的世界机制再生成文件,合成环境、任务与评分标准,并产出 DataWorld-Bench(50 个留出世界、16 个领域、100 个任务)及 1,037 个世界的 2,135 个训练任务。
针对 Byte Latent Transformer(BLT)按下一字节熵值划分 patch 会跳过算式结果的问题,研究者提出基于 LZ77 压缩思想的 novelty patching:在字节不太可能重复近期上下文处开启 patch,该规则仅需一张基于前两字节的查找表,数秒内即可在无标签原始文本上拟合完成。
随着大语言模型驱动的智能体开始自主写代码、调用工具并修改自身组件,arXiv 论文《The Self-Improvement Problem》形式化了一个结构性矛盾:评估门必须是可终止的计算过程,而"真正的语义改进"依赖可能无界的程序行为,因此不存在任何终止性程序能同时保证可靠性(绝不接受非改进)与非保守性(绝不漏掉可用改进),随机化门在有限误差下同样受限。
Multi-SFT 是一个可商用许可的多语言指令跟随数据集,包含五种欧洲语言的 502,818 条指令-响应对,通过翻译与重新生成流程构建。研究团队微调了 EuroLLM、OLMo 2、Qwen3 三个家族共九款模型(1B-32B),在 13 个基准上评测,结果显示 Multi-SFT 单独使用即可媲美更大的增强混合数据集和官方指令微调版本,在安全任务上优势尤为明显。
研究团队提出 AgentPerturb,从扰动目标与类型两个维度构建统一框架,评估 LLM 智能体在交互扰动下的鲁棒性。在 APEX-Agents 和 Toolathlon 上的受控评测显示,扰动会持续拉低性能,且主要脆弱点因任务环境而异;轨迹分析发现智能体很少识别被篡改的输入,常未经核验就传播被污染的信息,成功完成扰动轨迹还可能消耗更多算力。
一种名为 Universal Byte-Level Encoding(UBE)的编码方案将三字节 UTF-8 码点改写为两个 UTF-16 字节(低字节在前),使首个符号携带 8 个低位码点位以区分字素延续与下一字母。
研究提出以动作可预测性作为归纳偏置来保留世界模型的内在动力学,并实例化为 Concat IDM——从拼接的潜在状态预测动作,利用离线轨迹中已有的动作标签更新共享编码器,且不改变测试时的规划器。在 Push-T 的 24 种外观设置下,三次独立训练中 Concat IDM 将规划成功率从 9.1% 提升至 77.2%,其配对提升比单一外观设置高出 52.9 个百分点。
研究者构建了 LURCH 基准,包含 6,550 个多领域问答实例及支撑证据与推理图,用证据范围、证据分散度和推理深度三个属性量化长上下文推理难度。对闭源与开源权重模型的评测显示,在固定上下文长度下,这三个属性均与模型表现强负相关;上下文变长时,证据分散的样本性能急剧下降,而证据集中的样本相对稳定。三个属性还会叠加放大难度,三者均中等偏高的题目比仅一项极端的题目更难。
研究者提出一个统一交互式框架,用于评估 LLM 智能体的完整探究能力:将 Countdown 任务扩展为数学环境,让智能体通过操纵变量、收集观察来推断变量间关系。在 7 个 LLM 和多种提示策略下,实验显示模型固有探究能力有限、发现底层表达式的成功率偏低,但受教学脚手架启发的结构化引导能显著提升表现。
一项针对6个本地大语言模型的评估发现,模型在填空任务中系统性偏好刻板印象中男性化程度更低、更年长、更常见及白人姓名。研究基于30万条模型回复,发现性别偏见最显著,其次为年龄、姓名流行度和种族,且姓名偏见高度依赖句子模板。
LoopAhead 是一个面向 Looped Transformer 的推测解码框架,通过轻量级前瞻草稿器(LAD)利用早期循环状态预测多个未来 token,并由深层循环反馈决定草稿分支的继续或暂停,最终由全深度模型做 token 决策。该方法在保持目标模型输出分布的同时,实现最高 7.82 倍的解码加速。
研究者公开了一套面向智能体后训练的 midtraining 配方,并在 Nemotron 3.5 Lightning 和 Nemotron 3.5 Super 两个模型上验证效果。
LOADBench 发布了一个面向模拟 IC 设计机器学习的大型开源数据集与标准化基准,包含 SkyWater130 PDK 中 100 多种运放拓扑(1、2、3 级),每种拓扑附带结构与功能标注、尺寸约束、Ngspice testbench,以及 NSGA-II 多目标尺寸优化产生的约 10³ 个 Pareto 最优和 10⁶ 个中间尺寸-性能数据对。
研究提出一种多属性多教师蒸馏框架,用共享 SSL 骨干网络和属性专属分支,从四个冻结教师模型学习语义、说话人、语言和情感表示。在多语言语义检索、说话人验证、语言识别和语音情感识别任务上,该模型性能接近专用单任务学生模型,且仅需一个共享编码器。学习到的层聚合策略还揭示不同语音属性自然涌现于 SSL 编码器的不同深度。
研究者提出 ClaimScope,一个包含 72 项任务的基准,通过裁决、范围、反例与修复四个环节审计数学主张,覆盖优化器状态传输、有限时域仿射递推和精确 2×2 线性代数。
研究者提出免训练框架 TEM(Temporal State Tracking Memory),将事实存为带版本、关联来源的记录,按来源顺序排列并标注历史记录后再交给答案模型。
这篇综述首次系统梳理了强化学习驱动的扩散模型(RL-driven DMs),探讨 RL 如何将扩散过程重塑为以经验为中心、目标导向的生成方式,覆盖语言、多模态、机器人和科学模型。作者在多个任务基准上评估了代表性方法,并指出奖励设计脆弱、高维生成空间中的探索-利用权衡、稀疏奖励下训练不稳定三大落地瓶颈。论文已被 TPAMI 接收,并构建了公开仓库持续追踪该领域进展。
基于 Transformer 的 TagInsert 模型移除解码器侧注意力掩码,让模型在推理时自行决定标签生成顺序,从而打破常见的从左到右(L2R)生成范式。