CarryOn:为长程智能体构建面向对象的上下文
研究者提出面向对象的上下文运行时 CarryOn,围绕可复用的任务对象而非产生这些进展的交互历史来组织长程智能体的续接上下文。它由续接载体、补充执行上下文和近期交互的实时尾部构成上下文视图,并在折叠时跨轮维护载体记录、仅依据绑定证据与环境检查修订受影响记录。
研究者提出面向对象的上下文运行时 CarryOn,围绕可复用的任务对象而非产生这些进展的交互历史来组织长程智能体的续接上下文。它由续接载体、补充执行上下文和近期交互的实时尾部构成上下文视图,并在折叠时跨轮维护载体记录、仅依据绑定证据与环境检查修订受影响记录。
研究系统测试了一系列化学语言模型(CLM)在 64 个分子性质预测数据集上的表现,发现预训练带来的下游收益并不随规模增长,性能在梯度提升基线之下就饱和。只有基于传统理化描述符的监督预训练能稳定提升下游性能,部分预训练方式甚至让模型不如随机初始化编码器。模型虽能解析分子结构,但表现并不优于随机初始化模型,说明预训练至多学到类描述符性质与低层 token 统计,超出经典分子特征的化学知识出奇地少。
研究提出 readout-canonicalized decision-space(RC-DS)坐标方法,在去除奇异值增益的同时保留决策信息,用于研究 readout scaling 对稀疏自编码器(SAE)学习的影响。
一项基于 Spider 基准的研究评估了 1B-8B 参数开源小模型在受控推理预算下的 Text-to-SQL 能力,发现 SQL 专用模型在小规模下比通用和对话模型更可靠,且性能随提示词不同而大幅波动。为此研究者提出三种轻量推理工作流,在失败时自动用替代提示词或模型重试,并可选加入语法纠正步骤,显著提升端到端成功率,代价是额外的推理调用。
RELAY 提出一种选择性自蒸馏与自适应交接方法,用于基于评分标准的强化学习:Stage 1 用冻结教师模型提供 token 级监督并结合 GRPO,由平台期检测器在蒸馏收益停滞时移除教师,Stage 2 仅用 GRPO 继续训练。
研究在 GRPO 下用 GSM8K 训练 0.5B 和 1.5B Qwen2.5 策略对抗四个不小于自身的 LLM 评委,发现 judge hacking 的深度与评委 AUC 相关(12 个单元上 Spearman -0.69),同族中更大的评委被欺骗得更浅。
研究者提出 RealityBench,用 Blender 构建覆盖 11 种环境的模拟场景,评测视觉语言模型记录屋顶光伏安装、车辆维修等体力工作的能力,分为图像可接受性与文档记录两类任务。
针对扩散语言模型 RL 后训练中的"轨迹盲区"问题,研究者提出 PACT(Potential-Anchored Consistency of Transitions),联合学习策略与对每个中间状态打分的标量势函数,并以终端奖励锚定,无需序列似然估计或重要性比率裁剪。
一项研究审计了生产级对话分析系统中置信度分数的设计,该系统用 GPT-5.1 在 BIRD dev 的 1,534 道题上作答,每題采样五次,发现设计分数区分对错的 AUROC 仅 0.624,并会扣留 35.7% 的正确答案。
研究者提出 IsoVRBench,一个通过受控干预生成 8,000 对偏好样本的视频奖励建模基准,覆盖八种干预方式,无需人工标注。当前最强奖励模型在帧序重排任务上仅达 60.8%,而人类为 100%,且现有基准排名无法预测这一失败。
研究者发现,开放指令微调语言模型无需额外训练,仅通过读取最后一个 token 位置输出 logits 中 A、B、C 等字母的概率,即可实现与 Jev 相当的决策性能。
对 BitNet b1.58、Falcon-E 和 BitCPM 三个实验室的三值语言模型导出流程审计发现,文档化的 bf16 转换会大幅回退微调效果:Falcon-E-1B-Base 的 GSM8K 严格准确率从 58.79% 降至 0.78%。
ResizeCO 是一种无标签规模泛化方法,通过强化学习(适配 GRPO,以路径长度为训练信号)在大规模实例上微调小规模训练的扩散模型,并将 k-opt 建模为树搜索、用 GPU 上的 beam search 求解。
面向安全场景的 Jev 风格决策模型家族 SecJev 发布,参数规模覆盖 0.8B 至 9B,可从文本、遥测数据和观测历史中学习布尔、选择与有序决策。其中 SecJev-0.8B 在任务宏平均准确率上比通用 Kev-9B 高出 20.51 个百分点,0.8B 与 4B 版本在准确率和延迟接近仅答案生成式微调的同时,峰值 GPU 显存占用更低。
研究者推出 ChemExplain,一个从 383 篇同行评审论文中构建的 1180 道多选题化学基准,每题给出分子或反应图像、观测到的化学效应和四个候选解释,要求模型完成"解释性归因"。基准由多智能体框架自动构建并经八位化学领域专家验证,最强模型准确率为 78.6%;在 600 题专家复核子集上,该模型 71.4% 的错误被归类为归因失败。
研究者提出一个计算社会科学框架,将语义与图度量结合为可解释的组织指纹和时间画像,用于描述组织关联文本的集体语义分化与变化。基于1997至2023年间四家K-pop娱乐公司126位艺人的1,289首歌曲,仅三项新颖性度量在艺人层面呈显著差异,多样性、连通性度量及公司—社区富集大多不显著;艺人分组平衡准确率为0.334(随机基线0.25)。
研究用 LLM 为超 1200 种食物挥发物混合物(含 8000 多个分子组分)生成感知描述,并以此作为监督信号,从分子组成预测留出混合物的相似度。当感知目标来自化学感觉提示词时预测最强,训练中学到的低秩分子嵌入在无共享分子的混合物对上仍优于组分重叠指标,且与独立的人类气味描述空间显著对齐。
研究者提出一种基于电路的框架,将基于训练动态的数据价值评估与机制可解释性(MI)相连接,沿可学习性、挑战性和对齐三条效用轴识别出模型内部因果控制这些信号的专用电路,并将其作为可控接口主动引导生成效用定向数据。
研究固定候选池、评判提示词与选择预算,用三种 LLM 评判器以五种评分格式对 15,406 条 UltraFeedback 候选数据打分,微调 66 个模型并用四种评判器评估。0–100 分制实际只用到 7–12 个等距档位,仅为 1–5 分制的两到三倍;二值判定在 77–78% 的提示词中最高分并列,导致多数选择实为随机。基于评判器的数据筛选流程应报告四项指标。
研究团队提出 Agentic Video Auto-Encoder(AVA-Encoder),从成片反向构建智能体可读的 Film Knowledge Graph(Film KG),以重建本身作为监督信号。
EvoQuantLab 是一个免训练的双环自进化框架,用于自动化 alpha 因子发现,通过内层遗传编程(GP)循环进化带类型约束的因子表达式以提升 token 效率,外层诊断循环跨周期审计证据以改进协议。在 CSI 500 和 S&P 500 日频任务上,其年化收益分别达 18.34% 和 21.30%;在小时频加密货币数据上实现 37.91% 年化收益并避免执行崩溃。
针对基于 rubric 的强化学习中策略逐渐钻训练评分器空子的问题,研究者提出 Rubric Dropout:每步训练从奖励中随机移除部分 rubric 标准,同一 prompt 的所有回答用同一子集打分以保持可比,评估时仍用完整 rubric。
SPARK 是一种轻量自适应机制,利用目标模型的验证反馈在生成过程中修正 draft 模型预测,以加速 GRPO 训练中的投机式 rollout。在 21 个模型-数据集设置上平均,SPARK 相比 EAGLE3 风格和 DFlash 风格基线,生成加速分别提升 32.7% 和 11.4%,端到端 GRPO 训练加速分别提升 32.2% 和 8.5%。
在 Qwen3-1.7B 的稀疏共激活图上,两次 LoRA-SFT 重跑之间的距离超过其与基座距离的一半,说明模型 diff 默认的"重跑会落在附近"假设不成立。
研究者推出 CausalDS 基准,用于评估数据科学智能体工作流中的因果推理能力。每个测试实例由采样的结构因果模型(SCM)、生成的观测数据和基于真实领域的合成自然语言故事构成,任务覆盖 Pearl 因果阶梯的全部三个层级,多数任务包含数据科学编码与工具调用环节,并对图无法识别的目标直接测试弃答。由于生成器完全合成,基准的组成、难度和规模均可作为参数调整,可随时抽取全新考题。
研究者提出临床世界模型框架 PatientWM,以统一患者状态和序列化潜在历史为核心,用可用性感知编码器整合各决策时刻的观测,并用类型化解码器生成任务特定临床读数。该模型在 MIMIC-III、MIMIC-IV 及三个外部临床数据集上,于临床预测、多步预测和动作规划评估中表现更优,迁移实验进一步验证其患者状态的可泛化性。
研究证明离散扩散模型中 denoiser、bridge plug-in 与 concrete score 三种方法学习的是同一对象——加噪过程的精确时间逆转,只是坐标不同,并给出三者间的精确转换关系。
一项受控基准测试对比了 Angle、ZZFeatureMap、IQP 三种量子编码与经典模型在信用卡欺诈检测上的表现,并将 SMOTE 直接嵌入量子 Gram 矩阵流程,使各特征图的 PR-AUC 提升约 +0.04。
该研究提出一个面向金融服务的双用途意图预测框架,用自监督 Transformer 将多模态点击流编码为紧凑会话嵌入,并用 LLM 分类体系生成与蒸馏流程产出可解释意图标签。
研究对比了零样本 Whisper、池化 LoRA 和分组 LoRA 在 Common Voice、LibriSpeech 和 VoxPopuli 上的表现,发现 LoRA 增益集中在困难的 Common Voice 分组,在 VoxPopuli 上表现一致,但在低错误率的 LibriSpeech 上基本消失。
AgentWorld 是一个数据工厂,通过 Gateway Server 和 Data Pool 将异构智能体运行时的多轮交互轨迹转化为训练引擎可直接消费的标准化数据。
研究团队推出 Glasseek,一个覆盖数据构建、训练到评测全流程的透明 DeepSearch 框架,开源全部数据、模型权重、训练配方与代码。其 9B 智能体在几乎所有深度研究基准上超越前沿闭源智能体,并在近期开源权重智能体中取得最佳整体表现,刷新 9B 规模 SOTA。
ARISE(Agent Routine Induction from Successful Experience)从智能体轨迹中识别重复出现的流程,并将其合成为可复用的智能体子程序库。
研究团队提出多智能体药物发现引擎 MADDIE,由中央 Orchestrator 协调 HitIdentifier、LeadOptimizer、Synthesizer、Evaluator 四个专业智能体,组成灵活工作流以端到端适配药物发现流程。
WeFair 通过挖掘真实用户改写行为,构建从示范、偏好到验证的渐进式对齐流程,用于微信短视频搜索的个性化查询改写。该方法结合监督课程学习、直接偏好优化与基于真实改写的严格验证奖励,并采用 GRPO 优化。微信短视频搜索线上 A/B 测试显示,有效点击查询率(VV>10s)相对提升 1.576%,查询改写率相对下降 1.731%。
一项研究提出 ArXivDoc 基准,基于科学论文的 LaTeX 源码构建,用于比较文本、图像与多模态表示在科学文档检索中的效果。结果显示,文档即图像表示持续表现次优,且随文档长度增加更明显;纯文本表示最有效,即使面对图表类查询也能借助图注和上下文取得优势;交错文本+图像表示无需专门训练即可超越文档即图像方法。
Omni-Embed-Audio(OEA)是一个基于多模态 LLM 的检索导向编码器,在 AudioCaps、Clotho 和 MECAT 上文本到音频检索性能与 SOTA 的 M2D-CLAP 相当。
Draft-Thinking 是一个轻量适配框架,让长链式思维 LLM 学会一种紧凑的“草稿 CoT”,直接支撑最终答案。它通过渐进式草稿适配(先 SFT 再两阶段 RL)解决“跨规模草稿错配”,无需事后轨迹压缩或长度惩罚奖励。
CLIVO 是一个面向目标的多模态指令选择框架,将细粒度语义聚类分配、自动学习的验证目标与可微混合搜索连接起来,单次反向传播即可为所有聚类份额提供梯度。从 800 万条指令池中选出 10 万条时,CLIVO 达到全量数据四目标平均分的 97.2%,仅用 1.25% 的数据;相比最强评测基线提升 1.16 分,结合学习配额与样本排序后提升至 1.55 分。
一项基于图的无监督分析用四种 384 维多语言 MiniLM 表示,对 2000 年至 2023 年 10 月榜单中 1,456 位艺人的 7,891 首 K-pop 歌曲歌词进行建模。