DBA-Bench:面向 LLM 数据库运维智能体的生产级保真基准
DBA-Bench 是一个面向 LLM 数据库运维智能体的生产级保真基准,在真实 PostgreSQL 与分布式 TiDB 环境中评估智能体,覆盖 5 个运维域的 231 个有界场景和 10 个持续场景。评测包含 4 个前沿基础模型、2 个开放权重模型和 2 个 GPT-5.5 驱动的数据库智能体,结果显示智能体能定位根因却无法恢复运维目标,即使恢复目标,执行动作也可能违反安全约束。
DBA-Bench 是一个面向 LLM 数据库运维智能体的生产级保真基准,在真实 PostgreSQL 与分布式 TiDB 环境中评估智能体,覆盖 5 个运维域的 231 个有界场景和 10 个持续场景。评测包含 4 个前沿基础模型、2 个开放权重模型和 2 个 GPT-5.5 驱动的数据库智能体,结果显示智能体能定位根因却无法恢复运维目标,即使恢复目标,执行动作也可能违反安全约束。
研究提出一种"目标优先"框架,直接从联合人格目标中提取激活引导方向,再考察其能否分解为单一人格方向,并构建了 NarrationDB——将角色自述与八种荣格式功能的自动评估联合得分关联。在三个模型上的实验显示,八种功能均可通过问卷得分实现可控,测试的双功能目标也出现协同变化;直接提取的联合方向比无关配对更接近对应的单一方向,但仍保留大量残差成分。
研究将主动推理(AIF)的期望自由能(EFE)最小化重构为策略优化问题,证明闭环控制策略下的 EFE 最小化可表述为凸马尔可夫决策过程(MDP)。该视角揭示策略相关的奖励预测误差是沿时间反向传播 EFE 的自然梯度,而非沿层级向上传播。将世界模型学习与策略优化耦合后,主动推理呈现表演式强化学习(performative RL)的结构。
REGEN 提出用离线强化学习回收教师模型专项 RL 训练产生的回放记忆,训练通才模型,从而完全解耦 rollout 采样与反向传播。在数学推理、代码生成和指令遵循任务上,REGEN 以显著更低的成本达到多教师在线蒸馏(MOPD)的准确率。该方法有望将在线 RL 从一次性学习阶段转变为数据合成过程,代码已开源。
针对多智能体 LLM 中恶意指令可经模型间传递信息注入的问题,研究者提出应用层防御方案 CHANNELGUARD,在每次信息交接时检查内容,无需额外训练或增加模型调用。在超过 5700 次测试中,它拦截了全部隐藏在工具输出中的攻击;在两个开源模型上,将提示攻击成功率从 80% 降至 3%、从 77% 降至 10%,且 30 道数学题准确率不变。但改写后的攻击仍可能绕过该防御。
研究者提出 Agentic Real2Sim 框架,用视觉语言智能体把真实世界物体-机器人交互录像转化为可仿真的情节孪生,并接入下游策略微调与评估。该框架在刚体操作、可变形物体交互和人形运动场景上完成评测,其智能体决策可由开放权重 VLM 后端驱动,成本仅为前沿模型的一小部分,转换成功率相当。项目站点含代码已公开。
研究对 MIMIC-IV 3.1(2008-2022)进行记录伪影审计并制定清洗协议,发现 2020-2022 年约一半 ICU 住院缺少输入或操作事件记录,且血管升压药 ItemID 迁移使 2017-2019 标签率看似下降实则上升。
针对 LLM 引用验证器缺乏统一评测的问题,研究者发布 HALLMARK 基准,含 2,526 条 BibTeX 条目、覆盖 14 种幻觉类型,并提供分类型与诊断性子测试标签。
研究团队提出 LIFT(Late Reactive Injection of Force for VLA Post-Training),一种力感知后训练框架,在预训练 VLA 策略旁嫁接反应式动作专家,通过因果力记忆与零初始化交叉注意力注入 6D 末端执行器力,并结合在线 DAgger 循环训练。
研究者提出 MemCon 框架,将 LLM 智能体的记忆操作建模为马尔可夫决策过程,在线学习策略自适应决定何时检索、注入蒸馏计划以及整合或遗忘记忆。该框架与后端无关,可包裹任意现有记忆实现,无需预训练和额外 LLM 调用,采用带 UCB 探索的轻量级表格上下文赌博机,在数十个任务内收敛。
Bulkhead 是一个自动检测与修复容器逃逸漏洞的框架,通过将历史 CVE 归纳为结构化语义模式、结合文档与代码证据恢复 source-to-sink 执行上下文,并用 LLM 推理加隔离 PoC 执行验证发现结果。在多个容器仓库中,Bulkhead 发现 20 个零日漏洞,占过去十年发现总量的 43%,其中 3 个已分配 CVE,验证后的补丁建议已提交上游。
研究者用 FineWeb 中 1 万亿按时间过滤的 token 训练了最高 4B 参数的 decoder-only Transformer,构建了覆盖 2013-2024 的逐月模型检查点,以消除训练数据中的未来信息泄漏。
研究将社会公平的可再生能源预算分配建模为 MDP,用同一求解器接口对比美国八座城市(成熟经济体)与印尼西爪哇(新兴经济体)。滚动时域值迭代策略在两地均占优:美国实现 66% 可再生能源渗透率,并将服务不足的低收入人群减少 96%;西爪哇则引入约七倍于市场追逐启发式的私人资本。该启发式在美国仅轻微次优,在印尼却可能让所有低可及性地区得不到服务。
该研究提出一套 LLM 驱动的智能体推荐系统,用于 Connected TV(CTV)内容发现,借助大语言模型的推理能力直接处理并融合趋势话题、突发新闻、文化事件、跨端用户行为等异构上下文信号,免去大量人工特征工程与定制数据管道。
研究将伏尔泰《风俗论》与《百科全书问题》两套文集的自动主题索引建模为多标签分类任务,对比了从约 3B 到 120B 参数的编码器模型与经 LoRA 微调的生成式 LLM。表现最佳的是 Mistral 系列 4-bit 量化配置,F1 最高达 0.67,作者认为受专业索引主观性影响,该数值属于下界。研究还评估了跨语料泛化能力,并定性分析了模型在文学与修辞特征上的失败案例。
研究者提出 SPAM(基于自监督语音模型的音系激活映射),将 S3M 每帧表示映射为清浊、鼻音等音系特征激活向量,并在其上添加识别头和分割头两个轻量、无需梯度下降的预测头。该方法仅需不到一分钟的音素转写数据,识别头可泛化到训练中未见过的音素,在多个数据集上取得强分割性能。该工作已被 SLT 2026 接收。
EgoWAM 是一个固定策略骨干、动作头与数据配比、仅改变世界预测目标的人类-机器人协同训练框架,对比 Pixel、DINO 与 3D motion flow 三种世界表示。在三个真实双臂任务上,基于 DINO 的预测将分布外物体与场景泛化能力最高提升 4 倍,3D flow 将域内性能提升 20-30%,而像素预测迁移效果较弱。
研究首次对多智能体 AI 控制展开实证研究,提出 FakeLab 合成 AI 实验室代码库(9 个服务、86 个良性任务、4 个攻击目标),用于评估单智能体监控面对分布式攻击的表现。
研究者提出图卷积注意力(GCA),用图滤波后的 query 和 key 实现依赖输入图谱的谱注意力分数,突破标准注意力只能学到训练分布上平均谱滤波器的局限。在合成与真实数据集上,用 GCA 替换标准 query–key 投影可提升图去噪与扩散效果,去噪增益与图谱多样性相关;在 DiGress 生成框架中以 GCA 架构替换 DiGress 架构,生成质量相当且推理显著更快。
HarnessMDP 把 LLM 智能体的执行 harness 视为可学习的控制层,将智能体执行建模为有限时域马尔可夫决策过程,由 harness 根据演进的智能体状态选择结构性执行动作,并用收集到的轨迹离线学习策略、上线后自适应控制新执行。在编码任务、tau-bench、AgentBench 等评测中,HarnessMDP 相比基线 harness 持续改善执行行为与最终任务表现。
Auto-AEG 通过程序合成带精确时间区间的音频片段做冷启动监督,再用多模型伪标签在真实音频上提供强化学习奖励信号,构建开放词汇音频事件定位所需的 onset/offset 监督数据。该流程在独立的分层难度基准 AEGBench 上带来大幅时间定位提升,并泛化到多个留出的 SED 与音频定位基准,其标注已开源。
研究者提出 TabQueryBench,一个用 SQL 式分析查询评估合成表格数据的查询中心基准,将 12 个公开查询来源提炼为 44 个可复用查询模板,覆盖 49 个数据集和 11 个生成模型,每个数据集生成超 100 条可执行查询。
研究提出用响应几何(各维度间相关矩阵构成的对称正定矩阵)衡量语言模型与人类的文化偏好。在 DeepSeek-V3 和 GPT-4o 中,固定题目顺序时提示的文化人格在 Big Five 得分和响应几何两个层面均显现;随机化题目顺序后响应几何降至随机水平,Big Five 仍能以 95%–97% 区分两种人格。
研究者提出轻量优化器 Ember,专用于 embedding 与 LM-head 矩阵,优化器显存占用为 O(V + D),而非 Adam 的 O(2VD),且无需对 token 表优化器状态做分片。
研究提出椭圆前向扩展和视野(field of view)两项通用技术,在保持最优性的前提下加速任意角度路径规划,并据此开发了静态环境的 Zeta* 与动态环境的 Zeta*-SIPP。Zeta* 结合前向扫描后性能与当前最优算法 Anya 相当,且更易扩展;Zeta*-SIPP 在基准测试中相比最优规划器 TO-AA-SIPP 实现超过一个数量级的加速。
研究者提出元认知反馈强化学习(RLMF),依据模型对自身表现的自我判断质量来优化偏好训练中的补全排序,并配合元认知数据选择筛选高价值训练样本。在忠实校准任务上,RLMF 在多种任务上取得可泛化的 SOTA 表现且保持准确率,相比标准 RL 提升最高达 63%,同时增强模型评估和表达自身能力边界的能力。
研究者提出 FedCRF,将联邦学习的服务器聚合建模为基于条件随机场的结构化概率推断,把客户端表示为图节点并定义一元与成对能量势,从而联合推断客户端可靠性与相似关系。推断出的可靠性和亲和度可统一支撑全局聚合、拜占庭鲁棒性、聚类联邦学习和个性化联邦学习。在 CIFAR-10、FEMNIST 和 Fed-ISIC2019 上,单一超参数配置下其表现与专用方法相当或更优。
研究者提出 Critical Interval MSE(CI-MSE),一种用于机器人模仿学习策略的离线验证指标:先用零样本智能体定位任务关键片段,仅在这些片段上计算误差,并施加动作对齐处理以更贴近实际 rollout 行为。
针对行为克隆策略从演示数据中学到不安全行为模式的问题,研究者提出 MoRE(Mode Redirection),通过短暂的"去克隆"步骤将临时模式分类器的重定向信号蒸馏进策略权重,配合 retain loss 保留目标模式能力,使独立策略以零推理时开销抑制不想要的行为模式。
研究者提出 TISED 分析框架,统一量化量化、剪枝、异步推理等有损高效推理技术对具身任务的影响。该框架揭示三类悖论效应:静态任务中优化可能延长端到端完成时间,动态任务中适度有损优化反而能提升任务成功率,且两种效应的单调性与最优位置会随硬件配置变化。
研究比较了代码 LLM 的三种递归微调机制:无审查、使用编译和静态质量检查等模型无关过滤器的外部门控审查,以及使用困惑度和二元自评分等模型自身信号的 AI 自门控审查。
RoboGaze 是一个免训练的多智能体 VLM 评估器,通过将任务与场景接地、把子任务路由给维度专属专家并用 critic 核验,生成时间定位的诊断报告,覆盖 6 个维度和 30 种失败类型。
SPARK 将参数化知识控制建模为潜在参与策略学习问题,让 LLM 在生成时自适应调节参数化知识的贡献,同时保持主干模型完全冻结。该框架仅引入并优化 0.01% 的额外可训练参数,通过面向忠实性的奖励优化轻量参与策略,动态调节 FFN 介导的参数化知识。在六个数据集上的实验表明,SPARK 在保留主干 LLM 通用能力的同时,生成忠实度优于竞争基线,数据集与代码已公开。
研究者提出误差条件神经求解器(ENS),不再把 PDE 残差当作优化目标,而是在每次迭代中将残差场直接输入网络,让其学习更新策略以迭代修正预测。在四类 PDE 上,ENS 在绝大多数设置中取得最高预测精度,湍流 Kolmogorov 流上提升达 10 倍,同时避免了混合方法的昂贵计算成本。其学习到的修正策略在分布偏移下仍能泛化,包括零样本参数变化与跨方程迁移,在病态区域优势最大。
针对 GRPO 需多次 rollout 采样成本高的问题,研究者提出单次 rollout 强化学习方法 SR-PPO,结合蒙特卡洛 token 级优势估计与 Pass@k 梯度重加权。
研究提出 PADL(parsimoniously activated dictionary learning),证明其对激活字典原子数量施加全局正则化的形式可等价为结构化生成模型下的最大后验估计,并据此推导出稀疏度、存储成本与重建精度之间的解析权衡关系,实现最优超参数的数据驱动估计。
研究者提出 Reference-Anchored Reward Model(RARM),一种轻量视觉比较器,可将单条成功演示转化为稠密的进度感知奖励,训练仅用通用视频和对比式时序目标,无需机器人数据或任务专属奖励标注。
研究者提出 ScholarQuest,一个基于 1000 多个计算机科学主题、围绕四类研究意图构建的分类引导基准,并配套百万级文献环境 ScholarBase 与共享多轮搜索测试框架。
FinRED 是一个与金融专家共同开发的金融 LLM 安全红队测试框架,通过两级分类法将 FATF、EU DORA 等全球标准映射到从监管规避到复杂欺诈的威胁,并把真实金融文档转化为上下文丰富的红队测试行为提示词种子。
一项被 CoRL 2026 接收的研究提出,在最小安全到达奖励之上把人类演示当作正则化目标,仅用 30 分钟人类演示数据(比同类模仿学习方法少 2500 倍)即可让自我对弈训练出的驾驶策略与人类轨迹协调一致。该方法在单块消费级 GPU 上 15 小时完成训练,缓解了纯自我对弈策略行为约定与人不兼容的问题。