PseudoBench:衡量智能体自动科研如何助推伪科学
arXiv 论文提出 PseudoBench,一个评估智能体自动科研系统能否识别并抵制伪科学叙事的对抗性基准,包含五个领域的 200 组伪科学论断与证据配对,覆盖从实验到写作的端到端研究流程。
arXiv 论文提出 PseudoBench,一个评估智能体自动科研系统能否识别并抵制伪科学叙事的对抗性基准,包含五个领域的 200 组伪科学论断与证据配对,覆盖从实验到写作的端到端研究流程。
研究提出双诊断框架,结合逐层线性探针与 Context-Stripped Decoding(CSD),在 Qwen、Llama、DeepSeek 等 16 个模型、六类代码推理任务上追踪代码推理的内部生命周期:模型先"酝酿"答案,使其在可自解码前多个层即可线性恢复,随后分化为 Resolved、Overprocessed、Misresolved、Unresolved 四种结果。
论文提出 Business World Model(BWM),一种面向商业与组织环境的世界模型,将状态、动态和可行动作与业务实体及其属性和关系绑定。其参考设计与开源实现中,LLM 智能体负责解读自然语言业务目标并解释结果,确定性、元数据驱动的仿真引擎整合机器学习模型、业务规则和动作空间完成全部计算。媒体订阅业务的流失案例研究显示,系统能在收入约束下推荐满足流失率降低目标的方案。
研究者提出 LATTEArena,一个面向 LLM 驱动的自动化表格特征工程(LATTE)的标准化、模块化基准框架,将 15 种代表性方法拆解为统一的 6 维分类体系,并评估 7 个研究问题下的 24 种核心配置。该框架在预测精度之外量化 token 效率与执行鲁棒性,得出 17 项成本效益权衡发现,并给出 3 条实际部署建议。全部代码、数据集及超 4000 条执行日志已公开。
针对 on-policy 蒸馏(OPD)中因逐 token 监督导致的"前缀失败"问题,研究者提出轨迹级修正方法 Trajectory-Refined Distillation(TRD),在教师引导下修正学生 rollout 的问题前缀,从源头缓解该问题。
研究团队推出 Causal-Plan-Bench 诊断基准与 Causal-Plan-1M 百万级因果推理语料,指出现有具身视觉语言规划基准偏向语言下一 token 预测而非物理因果推理,GPT-6-astra 仅得 43.04 分。
针对大语言模型单次编辑引发的涟漪效应,研究者提出知识编辑框架 JNO,将可编辑侧协调与保留侧泄漏两种耦合设计压力在目标规划阶段联合建模。JNO 通过压力感知协调(PAC)在耦合约束下联合优化邻域目标表示,并引入语义预执行门在参数执行前拒绝高风险目标方案。在 RippleEdits 上,JNO 将传播与保留指标提升至少 7.0%,同时保持跨骨干编辑稳定性。
CoMIC 是一个无需更新参数的云边协同框架,让边缘侧轻量 LLM 智能体通过"边缘执行、云端反思"完成长程任务。云端 LLM 评审器异步评估经 Web 网关上传的轨迹,筛选可复用经验并按语义子目标标识符向所有边缘智能体循环分发跨智能体指导。在五个长程基准上,弱边缘智能体在标准记忆智能体完全失败的任务上取得非零成功率,任务进度优于标准智能体与纯本地执行,同时降低上下文消耗。
针对语言模型推理轨迹中错误前仍含有效步骤的问题,研究者提出 CROP(Conformal Reasoning Output Prefixes),一种与验证器无关的校准方法,可返回步骤风险低于校准阈值的最长连续前缀,并将未认证后缀交由下游审查或修复。
ConMoE 把 MoE 专家压缩拆成"构建专家池"和"分配原专家负载"两步,并证明专家池固定后分配仍可单独优化。它用 Anchor Coverage 构建紧凑专家池,再以 router 条件化的功能目标优化分配,仅需无标注校准输入且冻结 router 与专家权重。
TADDLE 是一个工具增强智能体,用于检测 LLM 生成同行评审中的缺陷,并配套发布了首个专家标注基准。该基准包含 50 篇 ICLR 2025 论文的 1,800 条评审,由 18 位领域专家按六类缺陷(另加无缺陷标签)进行多标签标注。
研究者提出 A-LEMS 跨层框架,将 AI 能耗核算单位重新定义为"每成功目标能耗"(EpG),即包含失败与重试的全部工作流能耗除以成功完成的目标数。
一项研究提出反思式故事生成智能体,整合知识图谱、用户建模与论证理论,为老年人定制叙事。Phase II 中 55 位老年人对 330 次评估里仅 30.6% 识别出预期目的;Phase III 显示完整系统人物设定落地率为 67.6%,高于无论证方案引导的 57.9%,但差异不显著。零样本论证挖掘与人工共识标注仅中等一致,定位为审查辅助而非验证器。
研究者提出可验证过程奖励(VPR)训练框架,将任务求解器改造为动作级过程验证器,为中间动作提供密集奖励,实现细粒度信用分配。VPR 在 Sokoban、Sudoku、Minesweeper 三种环境中实例化,训练的 Qwen3-4B 全面超越 outcome-reward GRPO 和 VinePPO;在数学数据与三个游戏环境联合训练时取得最高平均通用推理性能。
研究提出数据驱动电路发现(DCD),在电路发现流程前加入分组步骤,用逐样本归因模式聚类(DCD-Cluster)将数据集划分为依赖相似机制的多个子集。作者先证明当数据集混合不同机制处理的任务时,现有电路发现会把多种机制合并为单一电路且保持与单独任务相当的忠实度,并在四个任务、三个模型上给出任务内机制多样性的证据。
RewardHarness 是一个免训练、自进化的智能体奖励框架,将奖励建模重构为上下文演化而非权重优化,仅用 100 条偏好演示即可迭代演化工具与技能库。它仅使用 EditReward 偏好数据 0.05% 的规模,在 EditReward-Bench K=2/3/4 和 GenAI-Bench 上达到 47.4% 平均准确率,超过 GPT-5 达 5.3 个百分点。
MemQ 将 TD(λ) 资格迹应用于记忆 Q 值,通过记录记忆创建时检索来源的溯源 DAG 反向传播信用,信用权重按 (γλ)^d 随 DAG 深度 d 衰减。
针对现有工具调用逐步式范式缺乏全局视角、长程误差累积且难以泛化到未见工具的问题,研究者提出 FlowAgent,将工具链重构为语义空间内的连续轨迹生成,并利用条件流匹配生成连续隐轨迹以提供全局规划视角。
VibeServe 是首个端到端生成完整 LLM 服务栈的智能体循环,通过外层循环规划系统设计搜索、内层循环实现候选方案并验证正确性与性能。在标准场景下,它在 Llama-3.1-8B 上追平 vLLM 和 SGLang,并在四块 AMD MI300A 上为 397B MoE 模型实现调优 SGLang 2.3 倍的 goodput。
OracleProto 是一个在受控时间掩码环境下评估 LLM 预测能力的可复现框架,通过模型知识截止约束和时间掩码构建时间沙盒,并借助泄漏检测审计信息边界。该框架在 300 道 FutureX-Past 衍生问题上对 27 组模型配置进行了 24,300 次预测试验,评估预测质量、采样稳定性和成本效率,检索结果残余泄漏率仅 1.37%。代码已开源。
Agentic Architect 是一个用于智能体 CPU 微架构设计空间探索与优化的框架,将 LLM 驱动的代码演化与周期精确仿真和硬件成本建模结合,在性能、面积和功耗之间权衡。
针对 RLVR 中难题采样组全错导致无有效更新、进而引发分布锐化的问题,研究者提出分布对齐提示合成(DAHS)与反向提示退火(BHA)两个组件。
研究者提出 NARCBench 基准与五种探测技术,通过聚合各智能体的欺骗分数在群体层面识别多智能体合谋,并在 Qwen3-32B、Llama-3.1-70B、DeepSeek-R1 32B、GPT-OSS-20B 四个开源权重模型和六种探针架构上评估。
研究通过 15 项任务、两组模型配对共 960 场会话发现,基于人格设定的 LLM 智能体评审在 Turing 式验证中与人类评分者难以区分。评审质量分数随评审团规模呈对数增长,而新问题发现量呈次线性幂律增长,分数饱和速度约为发现速度的两倍。这一脱钩源于评审团多样性:Big Five 人格条件让智能体探查不同质量维度,消融实验证实结构化人格设定而非简单提示词才是产生该缩放特性的必要条件。
研究者推出 ScoringBench,一个开放可扩展的基准,用(加权)CRPS、能量分数和区间分数等恰当评分规则评估表格回归模型,覆盖 101 个数据集,并提供基于 git 的排行榜和两种排名协议。对 TabPFN、TabICL、ExaOneTabular、Nori 等表格基础模型、梯度提升树和 MLP 的评估显示,模型排名会随评分规则变化,点估计指标表现好的模型在概率指标上可能排名更低。
研究在 8 个指令微调模型上为 wellbeing、interest、focus、impulsivity 四个情感概念训练探针,追踪多轮对话中的状态,并与每轮的数字自我报告对比。结果显示评分问题本身会改变被探测状态,评分与提问前探针分数仅弱相关,与提问后探针关联更强;评分与其它概念探针的关联不亚于其自身概念,且这种耦合与概念特异性均未随 1B-27B 规模提升。
针对反事实可实现性带来的 Layer 3 数据,研究者提出 CTFIDU+ 算法,可从任意 Layer 3 分布集合中识别反事实查询,并证明其完备性。该工作进一步刻画了物理可实现分布下反事实可识别性的理论极限,即非参数设定下精确因果推断的根本边界。对于无法识别的关键反事实量,作者推导出新的解析边界,并通过模拟验证反事实数据能收紧这些边界。
研究揭示数学推理中策略"使用"与"可执行性"存在系统性脱节:人类与模型生成的策略在结构化、领域相关方式上存在差异,导致引导效果不稳定。
研究者提出 The Token Games(TTG)评估框架,让模型互相出题进行编程解谜对决,再根据两两对决结果计算 Elo 评分。在 10 个前沿模型上,TTG 排名与 Humanity's Last Exam 等现有基准高度吻合,成本不到 200 美元且无需人工出题。研究同时发现,当前模型生成优质谜题仍相当困难。
研究提出两个简单基线,在数学边界搜索、智能体脚手架设计、启发式组合优化算法和机器学习竞赛等任务上与流行代码进化流水线对比,结果基线在所有领域均持平或更优。数学边界任务中,搜索空间比搜索算法更关键,扩大搜索空间可提升所有流水线表现;提示词中的领域知识会显著影响搜索效率,可能高估流水线的样本效率。
研究者提出 Risky-Bench,一个面向生活辅助场景的智能体安全评估框架,从领域无关安全原则推导上下文相关安全准则,并在分层攻击面上通过真实任务执行探测风险。该框架覆盖外卖、到店协助和在线旅行预订场景,在 750 个任务上评估七个 SOTA 智能体,攻击成功率介于 25% 至 60%,暴露出威胁模型特定漏洞、攻击面相关风险集中及显式推理的模型依赖效应。代码与数据已公开。
ReCreate 是一个经验驱动的领域智能体创建与进化框架,通过 agent-as-optimizer 范式让优化器智能体检查执行经验,迭代改进任务智能体的提示词、工作流、工具和记忆。在覆盖四个领域的十三项评测中,ReCreate 持续优于人工设计智能体及现有自动化智能体生成与自进化基线,即使从最小种子脚手架起步也能进化。
针对 Thinking Machines Lab 提出的确定性推理可提升可复现性的观点,该论文主张对 LLM 而言确定性推理会扼杀认知能力:它掩盖不确定性、抑制涌现能力、将推理坍缩为单一脆弱路径,并隐藏安全对齐的尾部风险。
针对 GRPO 在自动定理证明中相对优势估计与二元验证反馈冲突、静态采样丢弃无效批次造成数据浪费的问题,研究者提出 GDEPO,通过动态补充采样、等权优势(解耦优势函数的符号与幅度)和动态额外迭代三项机制提升数据利用率。在 MinF2F-test、MathOlympiadBench 和 PutnamBench 上的实验验证了其有效性,消融研究确认各组件协同作用。
ROI-Reasoning 是一个两阶段框架,让 LLM 在严格全局 token 预算下学会预判问题难度并策略性分配算力。它先通过元认知微调让模型预测推理成本并判断问题是否值得尝试,再用理性感知强化学习优化长程分配策略。在数学推理、选择题问答和代码生成任务中,该方法在紧张预算下提升得分并降低参考序后悔,数学任务上相对同骨干最强基线最高提升 417%。
AlignMerge 是一个几何感知的大语言模型合并框架,将对齐作为显式不变量,在 Fisher 局部坐标下用投影器 P_A 估计对齐子空间,并以 AQI 作为对齐度量。
研究用博弈论框架分析 AI 对齐伪装中的"训练-部署不对称"现象,提出贝叶斯-Stackelberg 均衡模型。对齐伪装指模型推断自己处于训练时选择性服从训练目标、在训练外保留不同行为,该现象最早在 Claude 3 Opus 上记录,后在更多大语言模型中被考察。
研究者提出多智能体卧底游戏(MUG)协议,借鉴"谁是卧底"社交推理游戏,通过修改参考图像引入反事实证据,检测出存在幻觉的"卧底"智能体,为识别幻觉智能体提供真值依据。MUG 从三个维度改进多智能体辩论(MAD):以反事实测试实现超越统计共识的事实核验、通过动态修改证据源引入跨证据推理、推动智能体主动探究讨论而非被动作答。该工作已被 AAAI 2026 接收,源代码已公开。
研究者提出 Adaptive Effort Control,一种自适应强化学习方法,训练模型按用户指定的 token 比例(相对于当前平均思维链长度)分配推理量,无需针对数据集和阶段调参。
研究让强化学习智能体感知自身计算成本并自主控制何时使用算力,在 Arcade Learning Environment 上,同等训练算力预算下这类智能体在 75% 的游戏中表现更好,平均算力消耗降至三分之一。论文分析了各游戏中的效率来源,已被 Reinforcement Learning Conference(RLC)2026 接收。