Interaction-as-a-Judge:用计算机使用智能体交互评估交互式应用
研究提出 Interaction-as-a-Judge 评估范式,让 computer-use agents(CUAs)直接与应用交互,以弥补现有 LLM 评估只看代码分析和单元测试的不足。
研究提出 Interaction-as-a-Judge 评估范式,让 computer-use agents(CUAs)直接与应用交互,以弥补现有 LLM 评估只看代码分析和单元测试的不足。
一项针对四个开源指令微调 LLM 的研究发现,evil persona 向量的跨语言迁移存在方向不对称性:从英语、西班牙语等高资源语言提取的向量能有效迁移到斯瓦希里语、泰卢固语等低资源输入并基本保持 MMLU 表现,而从低资源语言提取的向量难以可靠获得、即便在同语言内也几乎无法有效引导行为。几何分析显示,两种高资源语言的 evil 向量高度对齐,低资源向量仅与该共享方向弱对齐。
研究团队推出 85M 参数的关系型基础模型 RT-J,仅需数百个甚至更少的上下文示例即可做出准确预测。该模型基于 639 个网页抓取数据库、6,023 个 LLM 生成预测任务构建的 Join 数据集预训练,支持最长 8,192 个数据库单元格的上下文,并采用随机游走检索器、上下文调优与集成扩展测试时计算。
针对长期时间序列预测中噪声与非平稳性导致模型易拟合偶然时序交互的问题,研究者提出 Temporal Structure Network(TStruct),通过直接参数化一组共享时间依赖矩阵,并利用动态样本信息与静态变量先验生成归一化组合权重,实现共享结构约束下的自适应时间依赖建模。该结构感知设计在所有数据集上均优于多个强基线,同时保持较高计算效率,论文已被 NeurIPS 2026 主赛道接收。
研究者提出 MMTA 基准,用时间序列、文本与视觉三模态任务评测多模态大模型,覆盖机器人、自动驾驶、医疗、金融等九个领域,含 3,524 条测试样本,涵盖分类与预测。
FASHION-RQ 利用 RQ-VAE 学到的层级离散表示,从商品目录结构中自动生成用户查询与相关性集合,无需人工标注或预定义分类体系,并据此构建可扩展基准 FASHION-RQBENCH。
研究团队推出 ProtoArena,一个黑盒、多组件动态基准,包含 80 个跨组件漏洞利用环境,覆盖 11 个协议与应用领域、7 类攻击。在评估的 5 个 LLM 中,Claude Opus 4.8 成功率最高:L1 引导下 48.8%,效果导向的黑盒 L3 下仅 12.5%。在 DNSBomb 优化实验中,其峰值下行响应与平均查询输入字节率之比超过 171,000 倍。
这篇教程解释了数据重上传为振幅嵌入量子模型带来的增益:每次上传可将可达多项式阶数提高两阶。在单一可训练电路族和相同可训练参数预算下,重上传将四阶目标的测试决定系数从 0.689 提升至 0.883–0.975,六阶目标从 0.337 提升至 0.642–0.783,十组随机种子均成立。但在二次目标和手写数字任务上,一次上传仍是最佳选择,且每次额外上传都会降低分类器可容忍的门误差。
研究者提出 Agentic-MatriBO,一个将贝叶斯优化组件与选择条件表示为可组合能力的智能体 BO 框架,由语言策略提出 BO 配方与候选方案、编译器对照能力目录校验、确定性执行层验证并提交候选。
Diff Diffusion 是一个受扩散模型启发的 LLM 框架,将去噪过程表示为结构化编辑操作,从原始代码片段预测到修改后形式的编辑路径,从而把计算集中在改动区域。
QK-Edit 是一个无需训练的框架,通过新的 query-key 操控策略利用 MM-DiT 的多模态自注意力动态,实现文本引导的图像与视频编辑。该方法支持物体添加、移除、替换、背景/材质/颜色更改和风格转换等任务,并可通过推理时的特征替换实现。在 FLUX 和 HunyuanVideo 等模型上,QK-Edit 展现出更优的编辑性能,该工作已被 ICCV 2025 接收。
一篇综述梳理了 58 项测量、分析或缓解 RLVR 验证器错误的研究,发现错误的结构比错误率更重要:随机错误主要拖慢学习,而在固定预算或 KL 正则下也会降低最终准确率;策略能学会触发的假阳性则可能导致训练停滞甚至崩溃,即便初始错误率很低。验证器是错误拒绝还是错误接受,取决于它检查什么、由谁构建,而非其所属家族,且其错误会随策略改进而漂移,多数缓解方法仅针对单一错误类型测试过。
研究首次对 TypeSafe AI 的 Jev 做受控对抗评测,用同一 payload、同一策略在四类任务上对比 Jev、五个 GPT 与 GLM 评审及 Llama Guard 3、Prompt Guard 2。
FracLearn 框架让语言模型在受 Tetris 启发的断裂游戏中通过模拟断裂响应积累经验,抽象出钢筋布置、裂纹演化与载荷传递的条件性原理,再在新架构中组合这些原理以超越此前设计记录,最佳综合得分比经验阶段记录高 11.0%。断裂分析显示性能提升源于裂纹偏转与暂时捕获等增韧机制及更高的残余承载能力。学习通过外部知识与决策完成,无需更新模型权重。
研究者推出 GIFT-Eval-CTX 基准,用于检验预测方法能否把已验证的未来信息转化为准确的数值轨迹。该基准基于 GIFT-Eval 构建,覆盖 20 个数据集、10,000 个实例,每个实例提供由 LLM 发现与确定性代码校验的智能体流水线生成的 Macro 与 Micro 结构化效应。
针对流式 Critic 依赖含噪单端点 Bellman 监督的问题,研究者提出后验平均 Bellman 流匹配(PA-BFM),通过采样端点池并推断潜在锚点的闭式后验,回归后验均值速度。
研究提出 RPO(Root-token Policy Optimization),通过组相对奖励和组内优势仅训练初始根 token(如是否调用思考标签),让大推理模型自行决定何时推理。该方法在多个模型族和规模上实现难度感知的自适应思考,训练算力仅为先前自适应推理方法的约 2%,并大幅降低显存占用。该工作已被 ACL 2026 接收为 Oral。
研究针对高斯过程 Bandit 优化提示词、检索系统和智能体工作流时,廉价模型评估与可信任务结果不一致的问题,提出选择性验证框架:动作先于诊断观测选定,可信反馈仅在未知诊断状态集上有效。
研究提出 Degrees of Freedom(DoF)连续配置框架,量化下放给下游智能体的决策空间大小,其两端分别对应集中式与去中心化两种协调模式。在六个评估状态中的五个里,中间 DoF 配置的平均准确率高于两个端点,且不同任务领域偏好不同的 DoF 配置。域内保留经验可让两种分支的表现更接近。
针对离线示教策略在长时程全身移动操作中因复合误差而失效的问题,研究者提出 I3L 软硬件一体化系统,通过低成本开源 JoyLo+ 接口实现全身协同纠错与迭代策略精炼。
针对失败归因基准中 LLM 评判模型可能依赖表面线索而非跨步骤核查的问题,研究者提出输入限制、线索跟随、残差准确率和聚合四项测试。在三个基准上,简单预测器即可匹敌或超越 GPT-4.1;在 Who&When Pro 系统中,仅读取单步推理的分类器能找出 95-100% 的故障步骤,而注入错误后微调评判模型虽领先 GPT-4.1 达 41 分,但加入任务推理后骤降 31-99 分。
研究者提出 HiSTOR,一个将非线性降维与纵向反事实预测整合的端到端框架,通过按治疗分配与结局的共享及差异关系,学习当前患者状态与演化历史的结构化低维表征。在 CVSim 和 CancerSim 上,HiSTOR 在不同协变量维度、混杂强度和预测时间跨度下均优于现有方法,并支持指定治疗序列下的单步与多步结局预测。
研究者提出有限 K 后验学习,训练求解器参数分布以降低 K 个独立候选全部失败的概率,并给出 Fenchel-Bregman(FB)方法,每次更新只需一次后验采样,而非直接蒙特卡洛所需的 K 次。FB 结合高斯后验变分优化器 IVON 得到 FBI,在多种递归与自回归推理任务上提升候选覆盖率,并以直接蒙特卡洛基线 12.3% 的实测单次更新训练时间达到相当的 Pass@10。
LEAF 通过在每次 rollout 前向上下文注入动态的问题专属记忆(含最近一次回答、奖励及环境反馈),并在每次验证后更新,从而将策略更新与 rollout 解耦、以自蒸馏方式更新策略。在四个 benchmark 和两个开源模型上,其探索速度约为随机采样基线的 4 倍,在未见测试集上准确率较最强基线分别提升 1.59 和 1.83 个百分点,且算力消耗低于所有 RL 基线。
针对评分标准强化学习将标准级反馈压缩为标量奖励、token 优势分配均一的问题,研究者提出 CoCA,把评分标准信息作为信用分配的相关性线索,从组内相对结果推导标准级信用,并依据标准引起的分布偏移将其分配到各 token。在医学与科学基准上,CoCA 相比标准评分标准强化学习平均提升 +4.2%。
研究者提出 TSRL(Trigger-based Supervised Reinforcement Learning),以 RL 为优化主干,仅在策略失败的"hard states"上选择性激活 SFT,理论上可限制累积参数更新上界以减少遗忘。
研究者提出 SCRIM(State CRIticality Measure),通过训练对抗扰动策略与价值评论器,为每个演示状态打出关键性分数,衡量该状态下小幅动作偏差对任务结果的影响。这些分数可用于重加权行为克隆损失,并筛选紧凑高价值演示子集,在保持性能的同时大幅减少训练数据。SCRIM 在多种仿真与真实机器人操作任务上验证,论文已被 CoRL 2026 接收。
研究者提出免训练框架 EGVCA(Evidence-Guided Visual Claim Admission),通过对比图像输入与视觉空输入下的语义主张似然,仅在主张获得足够图像相关支持时才予以采纳。
LeanPRM 利用 Lean 证明助手为自然语言数学证明自动生成步骤级标签,构建了含 10,634 条证明、152K 标注步骤且无需人工标注的数据集。基于 Qwen3-4B 训练的验证器在 200 条证明的 LeanPRM-Bench 上把步骤标签准确率从 48.2 提升到 74.7,而同一基座用 PRM800K 训练仅得 60.3。
研究团队提出 zPocket,在共折叠模型的冻结特征之上训练口袋预测头,并发布 PocketWatch 数据集用于评测对新型口袋的泛化能力。最佳 zPocket 模型整体 per-target AUPRC 达 0.745,高于在 PocketWatch 划分上重训的 VN-EGNN(0.598)和 UniSite-1D(0.595),P2Rank 为 0.477。
HelpMeOut 是一个面向家庭任务执行错误感知监测的具身 AI 基准,将日常动作错误研究转化为 20000 组配对活动片段,覆盖九类神经心理学错误。智能体需观察流式人类活动轨迹,判断执行是否正确并尽早诊断结构化错误。对学习型监测器、符号方法、变化点检测和前沿 LLM 提示基线的评估显示,这些方法作为错误监测器表现不佳,常漏检执行出错的情况。
研究者提出 LatentRiskBench,用于评估企业智能体中依赖工作流状态的安全风险,即同一动作在不同上下文下可能合规也可能违规。实验显示,动作级评估仅能检出 0.09 的状态依赖违规,而状态级评估可达 0.96,现有护栏方法若不显式作用于工作流状态则基本无法覆盖此类风险。该基准已被 EMNLP 2026 Industry Track 接收,数据集与代码已公开。
Dynamic K-Head 是一种问题条件化的预 rollout 预算选择器,与推理器在选定预算下联合训练,用仅基于问题的难度监督信号指导。
PrT-Flow 是一种概率可计算的流匹配方法,在保留多模态、多步动作生成的同时计算概率密度。其 Jacobian-Tractable Transformer(JTT)使每个采样步骤可逆,配合 Conditional Euler-step Training(CET)训练,并证明 CET 与拟合 Flow Matching 的 Euler 求解器更新具有相同极小值点。
DeltaTTG 通过共享进度计量器学习可复用的进度信号,其监督目标 Token-to-Go(TTG)即任务完成前还需生成的 token 数,作为剩余完成工作量的可观测代理。
研究者提出 SADDER,在免训练的文本扩散模型安全引导框架 SAD 基础上,利用每个 token 位置的嵌入空间安全信号作为门控,按 SAD 更新规则修正 token,并理论推导出使修改后去噪器精确的位置级目标分布。
研究者提出 4LC,一种带复合视觉表征与灵活时空访问接口的 4D 潜在缓存,可直接复用静态与动态内容的视觉表征作为生成条件,避免逐次 RGB 渲染与重编码。4LC 将 VAE、DINO、V-JEPA、VGGT 等多个视觉编码器的表征绑定到共享几何与运动上,并支持在任意指定时间与视角读取缓存。
研究提出 MorphContrast,一种形态感知对比多实例学习框架,以组织标签作为结构监督预测结直肠癌五年生存。在 Alliance/CALGB 89803 上单模型 AUC 为 0.642,事后集成达 0.70,风险组 hazard ratio 为 3.79;外部 SurGen 结肠癌队列(n=218)单模型与集成 AUC 分别为 0.669 和 0.678。
研究团队发布 Tanawpamana Dataset 与 Tanawpamana Benchmark,后者包含 4,046 项任务,用于评估视觉语言模型对菲律宾文化遗产地的识别与知识。
arXiv 论文重新审视了扩散语言模型(DLM)与自回归语言模型(ARM)之间被广泛引用的 16 倍预训练算力差距,认为原方法用 ELBO 打分并训练全序列 decoder-only 模型,已与当前 DLM 实践脱节。
共 2000 篇论文