医疗 LLM 智能体升级可靠性审计:工作流状态失败的扰动控制基准
研究构建了 400 个合成医疗工作流 episode 的评估协议,在 5:1 漏报与不必要升级成本下考察 ANSWER/ASK CLARIFICATION/ABSTAIN/ESCALATE 决策。
研究构建了 400 个合成医疗工作流 episode 的评估协议,在 5:1 漏报与不必要升级成本下考察 ANSWER/ASK CLARIFICATION/ABSTAIN/ESCALATE 决策。
研究者提出 VALCON,一个角色驱动的数据构建框架,通过双角色变化将价值观一致性拆解为 VAB-Consistency、VAB-Boundary、VAB-Challenge 三套基准。对 28 个 LLM 的实验显示普遍存在跨角色不一致:输出高度合规的模型常无法让自己的评判与自身生成对齐。机制探测发现与这种不对称相关的角色依赖表征解耦,据此提出的表征引导干预可有效缓解一致性失败。
AutoOnboarder 是一个自主系统,让智能体像新员工入职一样被"Onboarder"编码智能体逐步调教,迭代调整基础模型、提示词和 harness 源码以同时提升性能并降低成本。
研究测试了 14 个商用大语言模型部署(来自 3 家提供商的 7 个模型、6 种调用路径),在各自接受的确定性采样设置下重复同一请求,每个部署都至少有一次返回不同评估结果,其中 12 个出现标签变化。
针对基于评分标准的 LLM 评估中判断确定性因标准而异、现有方法却统一聚合的问题,研究者提出免训练框架 Uncertainty-aware Rubric Weighting(URW),通过保形校准量化标准级判断不确定性。
TRACER 是一种面向 LLM 智能体的工具检索前端,用 trie 索引已观测到的工具调用序列,并通过学习到的经验先验与上下文先验混合排序后续调用。在零售与电信混合的 τ² 环境中,它让 GPT-5.4 的工具选择准确率提升 4.7 个百分点,每步输入 token 减少 80%,仅暴露 128 个工具中的 5 个。
研究发现,增加思考量会让推理模型把"some"(非全部)和"or"(非两者)的会话含义取消,转而按字面逻辑理解,这一现象在多数被测开源推理模型和 GPT-5 中均成立,而间接回答等依赖上下文的推理反而改善。推理轨迹显示模型先接受丰富含义、随后将其取消;一种在推理早期阶段作答的探索性方法可在不损失字面准确率的前提下恢复这些含义。
研究提出一种 Teacher-Student 弱监督框架,用选定的 LLM 作为 Teacher 为未标注的网络安全推文生成弱标签,从而无需大规模人工标注即可训练网络安全专用 PLM。实验显示,仅用 LLM 生成标签训练的 PLM 在所有评估架构上 F1 均超过 0.92,与全人工监督模型的差距在 3 个百分点以内。
研究提出"承诺解除权限"(standing)概念:只有债权人或被授权方才能解除 AI 智能体对某人的承诺。在受控聊天环境中测试六款模型发现,较小的开源模型会覆盖债权人意愿(Qwen3.5-9B 达 69%),较大的模型则会因同伴一句话就放弃承诺(Qwen3.8-27B 达 89%,gpt-6.1-sol 达 83%),几乎所有模型都会听从旁观者的"就这么办吧"。
针对在线策略蒸馏(OPD)中教师模型易偏好违反问题前提的无效续写、进而鼓励错误推理步骤的问题,研究者提出 CCE-OPD,通过固定前缀对比与有界对数概率对比让教师监督对问题条件敏感。
研究者提出 Feedback-Guided Search State(FGSS),一种将语言引导与观测证据、可执行参数干预及对比支持更新连接起来的结构化假设管理接口,由 LLM reflector 提出并修订假设、确定性 curator 验证并维护其身份与测试记录。
研究者提出 MINE-SAMPLE-RENDER(MSR),一种测试时方法,将多样性外化为从真实语料挖掘可解释类别模式并据此采样属性配置,生成模型仅作为条件渲染器。在天气预报生成、用户模拟、网页设计、文生图和智能体生成 3D 资产任务上,MSR 提升了输出与语料分布的对齐度及生成多样性。
研究者推出 System1-Arena 基准,用 92k 道题、105 项任务和 138 个闭环环境,对比 System-1 模型与生成式推理模型在离散决策上的表现。
研究审计了 16 个开源 RLVR 数学语料(1,673,514 条训练数据)对 6 个基准(1,949 道题)的去污染策略,发现余弦阈值 0.80 下 59 个抽样删除中有 52 个(88%)被确认为误删。
研究覆盖 21 种模型-任务配置(3 种训练配方、3 类推理任务、2 种骨干网络),结合链删除、内容替换与探针和轨迹分析,检验潜在思维链是否真正影响答案。在逻辑任务上,COCONUT 的答案往往在链开始前就已可读出,状态早早收敛,删除链后预测几乎不变;即便逐步监督形成有序链,内容替换也不改变答案。
研究者发布韩语基准套件 KBS,包含 Ko-ARC、Ko-GSM8K、Ko-EQ-Bench、Ko-WinoGrande、Ko-LAMBADA 和 Ko-IFEval 六项任务,共 9,396 道题,覆盖六种能力,采用审校、本地化、直接构建与重新设计而非纯翻译的方式适配韩语。
阿里云团队提出 AgentEval,一套将契约约束的评估记录贯穿工具执行、状态与事件捕获、报告认定和案例维护的系统,区分智能体做了什么、证据能证明什么、结论当前是否成立。在 32 次工具世界执行中,独立核查对全部 30 个完整回合达成一致,区分出已满足、被违反和未解决的义务;对 48 个证据视图的受控干预暴露出仅靠哈希校验会漏掉的 36 个绑定故障。
研究提出无需训练的 ExecutionRAG 需求登记机制,记录未解决的子问题及其支撑证据,以区分检索器无法访问与智能体未发起查询两类失败原因。在 1,000 道 MuSiQue 问题上,all-MiniLM-L6-v2 的缺失证据错误答案从 382 降至 234,Qwen3-Embedding-0.6B 从 383 降至 274。
MemScope 是一个基于执行证据对现有智能体记忆架构进行局部演化的框架,其 Patch Agent 联合检查原始执行轨迹、运行时记忆状态与当前架构代码,在 provider 身份和记忆兼容性约束下定位修复目标并做有界原地修改。
GRADS 是一个图引导的智能体数据合成框架,通过维护证据与推理依赖图,在种子选择、证据扩展、问答构建与验证的闭环中实现显式难度控制,避免引入与答案弱耦合的无关上下文。
这篇综述将长上下文压缩重新定义为推理时的记忆管理问题,区分直接参与模型计算的计算活跃记忆与处于计算路径之外的计算非活跃记忆,并把 offloaded KV cache、持久前缀缓存和预计算 KV 状态视为激活路径上的中间状态。
研究者提出 All-in-One Memory(AiO-Mem),将检索、记忆写入与停止决策统一到共享证据状态和统一奖励空间,用过程奖励模型为完整交互轨迹打分,并通过 Process-Aligned DAPO(PA-DAPO)优化记忆策略。该方法把异构历史编译为可溯源的多视图事件,在长上下文记忆基准上持续提升答案准确率,优于静态记忆系统和 RL 训练的记忆智能体。
一项研究提出集成系统,通过孟加拉语语音和文本分析检测痴呆症迹象,并在对话中提供句子自动补全支持。研究提取与认知衰退相关的声学特征,采用基于 Transformer 的模型将语音转写为文本,评估多种 ML 和 DL 模型,其中 LSTM 架构在建模语音和语言上下文模式方面表现突出。句子补全任务采用带注意力机制的 Bi-LSTM 序列学习模型,逐步补全对话中部分表达的孟加拉语句子。
CleanRM 通过少量干净反馈,借助最优传输校准逐样本噪声比例,并用噪声校正代理损失训练奖励模型,理论上证明其目标对干净风险无偏。实验显示,CleanRM 优于当前最先进的去噪基线,并能带来更有效的下游 RLHF 对齐。
MASP 是一个心理化对抗自博弈框架,将主动对话建模为系统与理性抵抗用户之间的部分可观测博弈,用 BDI 潜在状态表示用户演化心理,并分离奖励侧教师心理化与策略侧学生心理化,交替更新系统与用户策略。
研究者推出 Kolab,一个包含 50 位来自 40 种职业的专业人士、115+ 小时屏幕录制的人机协作数据集,用于评测长周期真实工作流中的协作表现。该基准要求智能体预测专家会采纳、修改还是拒绝其贡献,并判断协作满意度与产出质量。结果显示,前沿模型(无论是否具备智能体能力)都会高估与专家的协作效果,且难以区分高质量与低质量协作,更长的上下文并未稳定改善预测。
研究者提出 ECI2D 方法,将语言理由抽象为可执行程序,对逻辑相似样本施加因果干预(do-operator),仅保留具备迁移不变性的自生成 ICL 演示。在数学、逻辑和常识推理基准上,ECI2D 持续优于基于观察的 ICL,且保留的演示数量远少,测试分布偏移时增益超过 7 分。
基于 LLM 的规划智能体在与部分可观测环境交互前,会隐式地选择激进或保守的规划承诺策略。在三个 LLM 和两个部分可观测域上的实验显示,两种策略准确率相近:保守方法失败次数更少但 API 调用更多,激进方法失败更频繁,仅在先验信息充分时才能高效重新规划。分析还发现 LLM 几乎将提供的先验当作事实,先验不可靠时容易导致失败。
CoSTA 是一个兼容性保持的后处理框架,通过均值初始化词表扩展、发音适配和对话适配,将语音对话模型的生成与合成 token 空间解耦,同时保留原有语音 tokenizer 和解码器。在双语语音对话基准上,CoSTA 实现约 1.7 倍语音 token 生成速度提升,降低完整响应延迟并提高吞吐量,同时保持回复质量。实验还显示其具备跨架构迁移能力,并与低速率 tokenization 形成互补。
MemComposer 通过联合考察当前查询与检索候选,决定纳入哪些经验、选多少条以及如何排序,并用基于 GRPO 的 Experience Policy Optimization(ExPO)以完整智能体交互的任务成功反馈训练组装策略。
研究直接检验了"一致性可代理正确性"这一无标签评估假设,使用四个金融问答数据集、十个一致性维度和两个前沿模型族,在单样本层面测量一致性与准确率的联合分布。结果显示,60% 的错误答案落在高一致性区域(一致性 ≥ 0.8),其中 77.7% 出现完全答案坍缩,即所有扰动变体给出相同错误答案。
针对终端类计算机使用环境中 MCTS 配置无法显著提升任务成功率的问题,研究者提出 Probe-and-Resume:仅在智能体自认为完成的节点调用 critic,并让其对当前与初始状态的 fork 拥有读、写、执行权限以探测隐藏状态。
针对稀疏 KV 缓存中保留 token 仍沿用完整历史坐标、导致 RoPE 下被淘汰 token 的位置空隙持续干扰 query-key 匹配的问题,研究者提出 RoPERelay,为缓存键分配紧凑且保序的 RoPE 坐标,通过逆旋转与再旋转重定位键相位,并同步当前 query 与后续生成,无需重新选择、历史重预填充或额外缓存预算。
研究者构建了 Sci$\Pi$vot,一个基于人类纠正记录的 248 例科学判断基准,源自资深研究员六个月内在 26 个项目上对 LLM 智能体的反复干预。在提供项目记录的中等推理强度下,五个前沿模型中有四个低于随机水平,最高准确率 63.5%,低于新手的 73.4%;且各模型带项目记录的准确率反而低于不带记录时,重新考虑也未能稳定提升表现。
研究者发布 ToolBottleneckBench,在固定 harness 预算下测量工具智能体在受控压力下的表现,任务保持不变、每次只改变一种压力:注册工具目录、可见工具菜单、认证工作流或返回记录编码。
研究者发布 OmicsBench,一个面向 AI 智能体的长周期多轮生物信息学基准,97 个任务通过有向无环图串联 662 个子任务,每个子任务对应一轮用户输入并确定性评分。
研究者从 2022 年前的 arXiv LaTeX 源码中选取人类撰写的证明与散文段落,用 15 个现代 LLM 在同一论文语境下重新生成,构建了 LaTeX 源码、PDF 渲染图像和 PDF 提取文本三种表示形式的配对数据。
研究在 NAQD-Env 合成环境中用 LoRA 微调 Qwen2.5-3B-Instruct,比较原始与增强课程对选择性撤回能力的影响。在 naqd 提示下,SFT 检查点的决策一致率达 0.77-0.92、撤回召回率 0.46-0.86,而三个基线仅为 0.45-0.63 和最高 0.06。
研究者提出 SHIP(Structured and Hierarchical Insight with Privacy),将差分隐私(DP)洞察定义为可复用表示,用于回答分析查询并统一评估其效用。
针对 GRPO 在整组 rollout 全部失败时既无成功样例也无非零组内优势、学不到东西的问题,研究者提出 Replay-Selected Hindsight Distillation(RSHD),让策略在不看参考答案的情况下为每次失败写纠正笔记并带笔记重解,仅当回放成功率高于原组且笔记未泄露答案时才采纳,并将采纳的回放蒸馏回纯提示词策略。