重新审视工具图记忆在多轮工具调用中的作用
研究在九个模型和两个基准上评估工具图记忆,发现其相较基线很少带来显著提升,且即使有效也需付出超过两倍的 LLM 调用成本。其引导常不正确,随机或无引导仍保留大部分增益,说明收益来自额外计算而非记忆本身;将相同经验存为文本洞察则以几乎零额外调用超越工具图记忆。
研究在九个模型和两个基准上评估工具图记忆,发现其相较基线很少带来显著提升,且即使有效也需付出超过两倍的 LLM 调用成本。其引导常不正确,随机或无引导仍保留大部分增益,说明收益来自额外计算而非记忆本身;将相同经验存为文本洞察则以几乎零额外调用超越工具图记忆。
研究者提出局部上下文蒸馏(LoCD),先定位学生轨迹中需要修正的关键片段,再由教师基于学生自身前缀重新生成这些片段并用于训练学生。在数学推理、代码生成和智能体任务上,LoCD 持续优于强基线,训练更稳定,参数更新更小更稀疏。
研究团队推出 DialFork,首个基于原始对话文本衡量"程序性幻觉"的基准——智能体话语流畅且事实合理,却偏离既定对话流程。该基准通过在受控轮次分叉合规对话并注入四类幻觉构建,覆盖 12 个领域 24 项任务共 36,278 段对话,由 30 名人工标注者验证。
研究者提出 SPRA(Structured Paper Representation for Agents),一种以持久化研究对象和类型化关系组织的论文级表示,其 empirical-AI 配置涵盖 Problems、Contributions、Components、ExperimentSetups、Measures 和 Findings。
一项对照研究测试了向寻址条件记忆注入知识的可写性:在冻结 GPT-2 上新增模块的 2×2 实验中,自然问题目标字符串命中率在仅行更新下平均 5.3%,无锚定投影更新为 28.7%,加锚定后为 22.0%,但严格答案得分均为零。
论文提出 JevAgentHarness,把智能体每一步的工具选择等决策委托给决策模型,仅在置信度低于阈值时交由 LLM 决定。作者构建 AgentDecisionBench,覆盖从孤立问题到控制运行中智能体的测试;孤立问题上最准的决策模型仅解决 69.5% 的智能体任务,未拟合置信度阈值时委托工具选择会使成功率下降 19.0 个百分点。
研究提出同策略提醒蒸馏(OPRD),通过多范围提醒监督与基于结果的路由,在无提醒的学生 rollout 上训练长程编程智能体,推理时学生无需提醒即可运行。
Jev-LiteMAS 通过将多智能体工作流中的路由与审查操作交给轻量决策模型 Jev,在四个基准和两个骨干模型上将生成式 LLM token 消耗较 LAS 降低 12.7-54.6%,准确率差距控制在 1.34 个百分点以内,八种设置中有七种延迟下降。
研究者发布包含 83 部已出版作品的基准,用于衡量语言模型能否讲述非线性故事,并为每部作品标注事件的时间顺序与叙述顺序,以及涵盖因果依赖、角色知识和悬念设置的故事图。
研究者提出 MemCut,一个针对 LLM 智能体用户请求遗忘能力的系统性基准,包含 456 个手工设计的秘密及其完整标注的证据链,用于测试删除后的信息恢复。基准定义原生恢复与残差恢复两项指标,并在五种记忆设计和四种 LLM 上建立三个参考删除基线。结果显示,LLM 引导删除二十个检索候选中的额外十轮对话后,仍残留 39-76% 的恢复率,候选覆盖不足是现有基线的瓶颈。
SpecAgent 是一种协作协议,让弱模型在只读工具调用中起草步骤、强模型通过单次 prefill 并行验证并提交最长语义有效前缀,从而把强模型从每步生成者变为审校者。
研究者提出 DCBench-440,用于测试 LLM 对 AI 数据中心建设承诺的反事实推理能力,包含 200 道基于 STRIPS 世界的生成题和 240 道基于站点记录与排放公式的选择题。开放权重模型生成题准确率 12.5-71.5%,选择题 58.3-92.5%;在列出决策节点所有可选动作时,无模型精确匹配超过 4.0%,最强模型仅列出 72-85% 会改变项目状态的动作。
研究者提出 TITAN 机制框架,结合因果干预、稀疏特征分解与定向偏好优化,识别并优化 Transformer 中关键的翻译电路,仅更新不到 5% 的模型参数。
研究系统考察了 LLM 检测和纠正车辆路径问题(VRP)实例错误的能力,发现其在复杂实例或大幅增加推理负担的错误上存在明显局限。为此提出自引导推理框架,让 LLM 自主生成代码提供结构化洞察以辅助错误诊断。在多种问题设置和 LLM 上的实验表明,该框架显著提升错误检测性能,达到接近完美的准确率。
研究者提出 SITAR,一种面向自动语音识别(ASR)的情境失真度量,通过有界递归公式将情境严重度与累积范围聚合为统一分数,并训练为轻量级 BERT 家族回归器,单次前向传播即可为参考-假设对打分,无需运行时高昂成本。验证涵盖宏观与微观层面的外在效度及评分器内在可靠性,显示 SITAR 能跟踪模型能力扩展并提供正交诊断价值。完整代码、模型权重与数据集将在内部评审后发布。
一种名为 SIF 的强化学习方法通过比较多个窗口与同伴的 token 级自置信度排序,仅在样本级和组级投票均达标时给予正向奖励,并筛选参与策略优化的响应。
HyCo 将服务器模型原生多 token 预测(MTP)头的深度草拟放到设备端执行,替代分支则交给一次 SLM 前向,服务器只返回该头所需的隐藏状态、输入嵌入和 KV 条目。
研究提出分层图卷积网络(HGCN),可检测文档内部不一致以及标题与正文不符,并基于已发表新闻数据及元数据构建了 Inconsistency Dataset。HGCN 在该数据集上取得 91.20% 的准确率,优于对比模型;在公开的标题正文不符数据集上达到 92.00%。消融实验证实元数据的使用对性能提升有显著作用。
研究对比六种提示词演化方法在社交媒体压力与情绪数据上、两种模型规模下的表现,发现 GEPA 及其结合两个提示词指令的扩展版 GEPA+merge 在多个设置中优于初始提示词。研究还识别出五种与性能提升相关的提示策略,包括引导关注情绪证据、区分当前与过往痛苦、示例间接线索、要求情绪背景和引导标签选择。二元压力预测较早改善,而多标签情绪预测初期下降后部分恢复。
FedSkillGit 用 commit 式补丁更新替代整份技能文档上传,实现联邦技能进化:客户端只提交命名规则上的有限补丁及本地经验,经两阶段隐私过滤后由服务器去重合并,候选技能需在客户端验证集上得分提升才发布。在三个数据集和三个语言模型家族上,该方法比 SOTA 基线最高提升 22%,并在不共享原始客户端数据的前提下接近集中式进化效果。
FaShift 提出因子级分布偏移处理框架,通过分解多模态表征并评估各因子的分布变化、干预效应与跨环境稳定性,将潜在因子区分为非预测性、稳定预测性和预测有用但不稳定三类,分别进行抑制、保留或衰减处理,而非统一强制不变性。
研究者提出 ARGUS(Agenda-dRiven Goal-oriented User Simulator),一种神经符号框架,通过符号操作维护动态议程栈来跟踪用户目标状态,将状态追踪与自然语言生成严格解耦,以实现严格的目标推进和约束对齐交互。
研究在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 上发现,用英语校准的 Block Influence(BI)会系统性低估印度语言文本的深层网络活动,三种印度语言的后期 block BI 比英语高 20.7-55.5%。
研究在四个公开队列(4,308 名受试者)上以相同相关性特征对比六类量子模型与经典模型,量子核与匹配经典核在四个队列上均无统计显著差异,平均准确率差距在 95% 置信度下不超过 1.4 个百分点。
DPA-MoE 是一个让路由专家支持任意精度的运行时精度控制框架,通过 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的 chunk,并利用实时 router gate 分数在推理时分配 chunk,使单个编码后的 MoE checkpoint 无需重训练或重新编码即可在多种有效权重预算下运行。
DocPilot 是一个支持表达性编排的智能体文档框架,通过页面级导航与细粒度证据定位,结合局部视觉检查、代码数值推理和跨模态推理,并借助课程式智能体训练将能力迁移至小模型。在 MMLongBench-Doc、DocBench、FinRAGBench-V 和 MADQA 上,DocPilot 搭配前沿 VLM 取得显著提升,DocPilot-4B 性能可媲美更大模型,代码已开源。
研究者构建了韩语数据集 ESG-Kor,从韩国企业可持续发展报告中抽取环境、社会与治理(ESG)信息,共含 118,946 句,并按 ESG 评估机构的客观规则人工标注。该数据集用多个韩语预训练语言模型验证分类性能,取得显著效果,并进一步将 ESG 分类模型扩展至中小企业文档,展示基于 ESG 关键议题的信息抽取与深度分析等实用场景。
CA-MAMBA 将多智能体世界模型中的成本预测移入想象空间,在 SMAC 中位配置上所需交互次数仅为无模型基线的 1/10 至 1/20,在同等预算下 MAMuJoCo 奖励为基线的 2.8 至 12 倍。在每基准单任务的受控测试中,将模型成本优势按平价定价可使成本盲学习者的成本降低一半以上,并满足学习型乘数未能达到的严格连续控制限制,表明模型成本估计并非瓶颈。
RenoLayout 将住宅设计建模为设计点引导的条件生成任务,把改造前住宅状态与设计点集合转换为可执行的 Geometry-as-Code 程序,统一处理户型改造与家具布局。
研究将银行账户直接作为评分对象,把银行关系模式读作异构图(行是节点、外键是边),用逐列编码器、相对时间编码和 HeteroGraphSAGE 消息传递从多跳邻域打分,并将邻域限制在账户被标记前的数据。
研究提出 Self-targeted Internal Attention Boosting(SIAB),通过因果定位(激活补丁)在合成最小对上定位稀疏情感注意力头,并在答案位置增强这些头已关注的内容 token,无需外部标注的目标跨度。
研究通过 LP variance 和 Caveman 压缩比两项指标衡量 CoT 各推理步骤的信息密度,发现较低 LP variance 可预测 SFT 模型答案正确性,但该关系随规模减弱并在 RL 蒸馏模型中反转。
OpCredit 是一个操作感知的策略学习框架,通过分支结果信用(BOC)与前沿转移信用(FTC)两个互补信号,为智能体知识图谱问答中每个可执行操作单独评估贡献,而非依赖轨迹级奖励。在 ComplexWebQuestions、WebQSP 和 GrailQA 三个基准、三种骨干模型上,该方法均取得一致的 KGQA 性能提升,推理时仅需已学习的策略和标准 KG 接口。
Mallea 是一个从文本构建、操控和记忆世界的系统,由编码智能体从提示词推断物体交互需求,并联合规划物体结构、属性与规则。世界按规划规则演化,用户操作可实时操控,文本请求可编辑属性或扩展能力且保留未受影响的状态。物体纹理记忆仅对白盒定义的物体保留可复用外观,并随物体变化自适应,程序推进世界状态,生成式渲染器结合当前结构与记忆外观输出画面。
研究者提出 QuasiLeak-Bench,一个面向策略条件准证据组恢复的基准,用于评估检测器能否完整还原准证据组并标记违反给定策略的披露。实验显示现有隐私检测器迁移效果差,本地可部署的 LLM 检测器远落后于闭源模型,主要因漏掉大部分准证据组;但在训练集上微调的 4B 模型在留出文档上超过了最强的提示模型,表明该任务可学习。
研究者提出混合生成-标注解码架构,将标注源文本片段与开放式生成结合:可复制的常见属性值由标注头直接从源文本抽取,生成头则专注标注标签空间外的稀有属性和需重格式化或归一化的非可复制值。该解码器集成进 vLLM 推理后,属性覆盖率提升 10%,正确属性值对多提取 63%,精度无损,延迟降低 44%。
研究构建了 400 个合成医疗工作流 episode 的评估协议,在 5:1 漏报与不必要升级成本下考察 ANSWER/ASK CLARIFICATION/ABSTAIN/ESCALATE 决策。
研究者提出 VALCON,一个角色驱动的数据构建框架,通过双角色变化将价值观一致性拆解为 VAB-Consistency、VAB-Boundary、VAB-Challenge 三套基准。对 28 个 LLM 的实验显示普遍存在跨角色不一致:输出高度合规的模型常无法让自己的评判与自身生成对齐。机制探测发现与这种不对称相关的角色依赖表征解耦,据此提出的表征引导干预可有效缓解一致性失败。
AutoOnboarder 是一个自主系统,让智能体像新员工入职一样被"Onboarder"编码智能体逐步调教,迭代调整基础模型、提示词和 harness 源码以同时提升性能并降低成本。
研究测试了 14 个商用大语言模型部署(来自 3 家提供商的 7 个模型、6 种调用路径),在各自接受的确定性采样设置下重复同一请求,每个部署都至少有一次返回不同评估结果,其中 12 个出现标签变化。
共 2000 篇论文