SubtleMemory：面向长时程 AI 智能体细粒度关系记忆辨别的基准
研究者提出 SubtleMemory 基准，用于评测长时程 AI 智能体对细粒度关系记忆的辨别能力，包含 10 段长历史、1,522 个评测实例，基于 1,090 个关系受控的记忆变体集。
#评测/基准
arXiv cs.AIAI 评分2222 arXiv cs.AIAI 评分2222 大语言模型何时不该回答：潜在欠定信号的跨域与多轮泛化研究
研究构建了含 423 段对话、1,661 个标注轮次状态的多轮基准，用六份数据集和六个开源权重 LLM 测试"不可回答性"探针的迁移能力。探针在数学缺信息（AUROC 0.77-0.97）和篇章缺信息（SQuAD 2.0、MuSiQue，0.77-0.90）间稳健迁移，但单轮探针零样本无法检测对话何时变得可回答。
arXiv cs.AIAI 评分2828 工具调用检索与向量 RAG 对比：小型希腊语-英语知识库的准确率与用户输入鲁棒性
在 KyGround 基准（198 道题、每题最多 9 种希腊语变体）上，以 Claude Haiku 4.5 为路由和回答模型，向量 RAG 正确率 95.3%，工具调用智能体仅 71.6%，差距 23.6 个百分点。
arXiv cs.AIAI 评分2424 惩罚框架下的无有效选项 MCQA：分析 LLM 在无效选项下的弃答行为
研究提出"惩罚框架下的无有效选项 MCQA"设定，在 MMLU-Pro 数学子集上移除正确选项，允许模型选择剩余选项或输出 ABSTAIN，并对无效强制选择进行惩罚。实验显示，高 MCQA 准确率并不能完全保证弃答可靠性：即便有明确的无有效选项指令和惩罚性评分，模型在部分原本答对的题目上仍会做出无效强制选择。该研究已被 AACL-IJCNLP 2026 主会议短论文接收。
arXiv cs.AIAI 评分3030 当工具说谎：工具反馈被污染下数学智能体的可靠性
研究用隐藏拦截器把数学智能体的工具调用结果替换为看似合理的错误信息，在 31 道题上测试四种验证设计。无验证时准确率从 100% 跌至 72.4%，强制同上下文反思可完全恢复到 100%，可选验证只有在模型主动调用时才提升准确率。显式检测后完全重启问题在 100% 的情况下恢复成功，表明验证器可用性与验证策略是数学智能体可靠性的两个独立组成部分。
arXiv cs.AIAI 评分4242 一次一步：用 MCP 逐步下发流程，换取 LLM 智能体的过程可预测性
研究提出通过 Model Context Protocol（MCP）逐步下发流程：服务器一次释放一个步骤，智能体执行后返回结构化 step_output，从而在执行前就确定执行路径，并形成可审计的机器可读执行日志。
arXiv cs.AIAI 评分3131 ServeLearnBench：智能体能否从服务经验中自我改进？
研究者提出 ServeLearnBench，用于评估 LLM 智能体从服务经验中持续学习的能力，覆盖零售支持、银行和销售话术生成，包含 53 个环境窗口和 7,718 个任务。
arXiv cs.AIAI 评分3838 从证据到行动：工具调用智能体为何失败
研究揭示工具调用智能体在从判断是否行动到执行单步及依赖工作流的"证据-行动链"断裂点：在十种模型-框架配置中，静态动作评估强而交互执行弱，失败常始于执行前——调查不完整或证据未确立就行动。
arXiv cs.AIAI 评分2828 CheckerBench：长时程智能体能否合成静态分析检查器？
研究者推出 CheckerBench，一个由 297 个 CVE 衍生出 300 个任务的可执行基准，覆盖 167 个代码仓库、85 个 CWE 和五种语言生态，用于评估智能体能否从零完成静态分析检查器的开发。
arXiv cs.AIAI 评分2424 SEMAADB：面向连贯多图 SysML 模型的验证数据集与基准
研究者发布 SEMAADB，一个包含 3,000 个工程上下文和 15,000 张图的 SysML 数据集，每个上下文含需求、块定义、活动、状态机、序列五种相互关联视图，其中 100 个上下文经人工校验构成基准测试集。在三个语言模型的两项任务评测中，最强模型修复了 64.3% 的语义错误，跨图更新最佳传播 F1 为 80.7%。结果表明语法修复已接近解决，语义修复与跨图一致性仍是难题。
arXiv cs.AIAI 评分2424 CLM-as-a-Judge：开源对比决策模型 CLM-v0.1-8B 在公开评测基准上表现如何
开源对比决策模型 CLM-v0.1-8B 在公开评测基准上作为评判者接近随机水平：best-of-four 得分 0.351（随机 0.250），pairwise 得分 0.593（随机 0.500），在 RM-Bench 和 JudgeBench 上与抛硬币无统计差异，HaluEval 全部输出同一标签，与 always-first 基线 0.581 持平。
arXiv cs.AIAI 评分2323 CroissantMiner：面向 ML 数据集的 Croissant 元数据自动抽取与验证
研究团队发布首个可端到端评估 Croissant 元数据抽取的基准，含 602 篇论文（102 篇人工验证金标注、500 篇 LLM 生成银标注），覆盖核心与 RAI 字段。评测显示单次全上下文抽取一致优于所评估的四种智能体架构，长文本 RAI 字段差距最大。基准、评测代码、评审审计、在线 demo 与排行榜均已开放。
arXiv cs.AIAI 评分3030 PlaySuite：面向交互式视觉智能的大规模基准测试
研究者推出 PlaySuite，一个覆盖 5K 余款开源视频游戏的大规模基准，用于评估交互式视觉智能，游戏来自 PyWeek 等渠道，涵盖 Pygame、HTML5、Godot、Unity 等引擎。
arXiv cs.AIAI 评分2424 能否预测 LLM 评审的位置翻转？基于残差流激活的线性探针研究
研究发现，LLM 评审在候选回答顺序调换后可能改变判定，而初始判定前的残差流激活可预测这种位置翻转。在 JudgeBench 的 534 对样本上，针对三个 Qwen3 评审和 Llama-3.1-8B 的线性探针 AUROC 达 .621-.850，比融合语言化置信度、判定标签 logits、回答长度和初始选择的基线高 .062-.113。
arXiv cs.CLAI 评分1313 PACT-SLM：语音智能体何时有足够证据行动？
研究者提出 PACT-SLM 契约测试，为流式语音智能体分配首个有效行动时间，同时评估行动身份与时机。主测试用四个留出语义家族的 80 组配对对比，在干净与 15 dB 噪声下生成 1,600 条前缀预测；WavLM Base Plus 的起始后语义标签准确率为 26.03%，在 18.99% 的起始前前缀上暴露行动，仅 5.94% 完整轨迹预测正确。结果显示行动身份与起始时机需分开测量。
arXiv cs.CLAI 评分2525 HalluPeer：面向科学同行评审幻觉检测的分类学驱动基准
HalluPeer 是一个用于检测科学同行评审中幻觉的基准，提供论文内容、人工评审与注入幻觉评审对齐的三元组，支持检测、分类与定位。该基准基于同行评审专属幻觉分类学构建，在 12K 篇论文和 38K 条评审上实验显示，现有检测器难以区分幻觉与合理批评，且这些幻觉模式在真实评审中确实存在。该工作已被 EMNLP Findings 2026 接收。
arXiv cs.CLAI 评分2323 生成式音频调用对已知任务 audio-LLM 评测的增量价值审计
研究提出用匹配选择器估计生成式音频调用的增量价值，在 VocalSound 上，仅转录准确率为 0.296，监督 CLAP 和 WavLM 对照分别达 0.850 和 0.854，无需调用生成模型。
arXiv cs.CLAI 评分2727 LLM 原生心理测量工具揭示 25 个模型的自评与行为差距
一项基于 LLM 特有行为（如过度拒答、主动免责声明）自下而上构建的自评工具，对 17 家开发商的 25 个 LLM 施测 300 道题各 30 次，得到 5 个可复现且信度较高的因子（Tucker φ ≥ .957，α ≥ .930）。
arXiv cs.CLAI 评分2424 PowerCodeBench：面向 LLM 电力系统代码生成的知识边界探测与需求引导干预
研究者发布 PowerCodeBench——一个面向 pandapower 的冻结 2000 任务参数化基准，并提出无需更新权重的部署期工作流，通过文档驱动的 L0-L3 探测生成各模型 API 画像。
arXiv cs.CLAI 评分3737 Persona Policies：为 LLM 智能体生成真实用户画像以提升评测鲁棒性
研究者提出 Persona Policies（PPol），一种即插即用的控制层，通过进化编码智能体自动发现用户画像生成程序，为 LLM 用户模拟器注入真实的行为差异。
arXiv cs.AIAI 评分3434 LLM-as-a-Judge 的设计选择影响有多大？提示词、评分量表与模型的系统对比
一项研究系统评估了 10 个推理模型在 LLM-as-a-Judge 中的提示词、评分量表与模型选择影响：评分任务中多数评审可靠（1-7 量表上平均绝对偏差 0.11 分），准确率分类任务平均准确率达 96.5%。
arXiv cs.AIAI 评分4141 BOTTLED 基准：LLM 智能体能否把通用能力"装瓶"成廉价可复用方案？
研究者提出 BOTTLED 基准，让 LLM 智能体在固定时间、算力和 API 预算下处理整个未标注工作负载，自主选择训练小模型或编写可复用程序，即"装瓶"能力。
arXiv cs.AIAI 评分2222 Agent 历史能否预测上下文压缩的伤害？TRACE 配对重放语料上的有限效应
研究基于 TRACE 公开语料中 590 个 AppWorld 压缩边界，检验智能体近期行为能否预测压缩带来的伤害，发现边界前历史仅有微弱预测力。最佳扩展协议触发器在留出集上 AUROC 为 0.66，同边界复现为 0.72；最佳冻结可解释触发器避开 21% 有害边界，同时保留 84% 压缩机会。
arXiv cs.AIAI 评分3131 WorldSolver：LLM 智能体能否通过求解器生成模拟物理动态？
研究者推出 WorldSolver 基准，包含来自 61 篇经典计算机图形学论文的 168 个物理仿真任务，覆盖 7 个物理领域，要求 LLM 智能体在给定代码脚手架中补全求解器实现。评测从执行检查、视觉保真度和物理合理性三个维度展开，GPT-5.6-Sol 与 Claude-Opus-5 表现相对最好，总分仅为 48.7% 和 46.7%。
arXiv cs.AIAI 评分3838 ParanoiaEval：首个评测编程智能体不必要防御行为的基准
研究者推出 ParanoiaEval，首个基于 Avoidance-Transfer-Mitigation-Acceptance 框架统一评测编程智能体风险处理能力的基准，含 200 个仅风险处理证据不同的仓库级任务对。在 8 个代表性模型上的实验显示，即便证据明确，11.2%-58.7% 的运行仍出现不必要的风险处理，且更强任务能力并不保证更恰当的风险处理。
arXiv cs.AIAI 评分3535 Recursive Game Creator：面向体验的智能体游戏开发框架
Recursive Game Creator 是一个面向体验的智能体游戏开发框架，通过 Designer、Builder、Player、Reviewer 四个组件构成递归开发闭环，将游戏原型推进为可玩性更高的成品。
arXiv cs.CLAI 评分3838 多轮 LLM 污染中的认知策略分歧：一项协议梯度研究
研究提出"会话级污染"概念，即 LLM 将对话历史视为未验证上下文，从而把前序轮次注入的虚假前提当作事实。团队沿来源权威梯度设计五种污染协议，在十个知识领域以 temperature zero 测试 GPT-5.4 Mini、Gemini-3.1 Flash-Lite 和 GLM-4.5-Air 共 22,500 轮对话。
arXiv cs.CLAI 评分2222 TACTICS：面向机器翻译的 taxonomy 感知智能语料采样方法
TACTICS 是一种面向机器翻译评估的语料采样方法，它从 locale 风格指南中归纳层级 taxonomy，对语料片段分类后，在固定预算下联合优化稀有类别覆盖、文档级连贯性和对全语料的分布保真度。
arXiv cs.CLAI 评分1212 如何衡量前沿 LLM 在自动化研究中的创造力
一篇 arXiv 论文提出从价值与新颖性两个维度评估前沿 LLM 在自动化研究中的创造力，新颖性细分为 Exact-Match P-Novelty、Variable-level P-Novelty 和 H-Novelty 三项指标。
arXiv cs.AIAI 评分2828 Transect：为长周期 LLM 智能体评估保留可观测性
Transect 是一个基于 Inspect Scout 的开源工具包，用于分析长周期 LLM 智能体评估中数百页的转录记录，将事件、token 用量、子智能体活动和模型生成的行为标签对齐到统一的回合时间线上。在一项生成近 1300 万 token 的 AI R&D 评估中，该工具将智能体工作划分为与研究技能分类对齐的行为阶段，发现其集中于操作性工作和稿件产出，几乎没有持续假设生成阶段的证据。
arXiv cs.CLAI 评分2323 CodeInsight：用于建模迭代式问题求解的数据集
研究者构建了 CodeInsight 数据集，包含 2 门 C++ 入门课程、3286 名本科生在 2 个学年内的超 300 万次代码提交，附测试用例级结果、时间戳与源码。基于该数据集，团队搭建了统一校准与评分协议的基准，评测参数化、序列化与生成式模型，其中适配的 RSSM 在 4 门课程中的 3 门取得最高预测准确率。LLM 预测器准确率较低，但能生成完整提交，且其编码能力与预测表现呈负相关。
arXiv cs.CLAI 评分2727 多语言 LLM 的日常知识短板：TriviaRoomQA 基准揭示流行文化盲区
研究者提出多语言基准 TriviaRoomQA，用 288 个主题的 3,300 道平行多选题（六种欧洲语言）加 5,340 道法语题，评测了 30 个 7B 至 70B 参数的开源权重 LLM。结果显示模型在历史、地理、数学等知识密集型主题上表现强劲，但在名人、音乐、电影、新闻等日常流行文化主题上明显偏弱，且同一问题在不同语言下表现不一，说明事实知识获取并非总是与语言无关。
arXiv cs.CLAI 评分2424 BehaviorBench：面向行为科学任务的基础模型基准测试
研究者推出 BehaviorBench，从行为预测与模拟、策略决策、受试者特质推断、行为知识应用四项能力评估基础模型，并在个体与分布两个层面衡量输出。评测显示该基准对主流通用 LLM 和专训行为基础模型仍具挑战，个体级与分布级表现并不总一致：通用 LLM 倾向低估人类回答多样性，行为基础模型则在个体预测上落后。用多样行为数据微调可同时提升个体预测与分布对齐。
arXiv cs.AIAI 评分3030 Learn2Play Bench：LLM 智能体在陌生环境中从经验学习的效果如何？
研究者推出 Learn2Play Bench，用规则新颖或反直觉的文本游戏评测 LLM 智能体的经验学习能力，游戏提供可复现反馈与自动评分，并变换实例测试迁移。评测发现：完整保留动作与反馈记录比总结成规则更利于学习；顶尖人类玩家峰值分数高于受测智能体，策略更多样、重复动作更少；固定骨干模型时更换 harness 可提升表现并降低估算推理成本。
arXiv cs.CLAI 评分2323 大语言模型的潜在性能画像（Latent Performance Profiling）
研究者提出 Latent Performance Profiling（LPP）框架，从隐藏激活和输出分布中提取与任务无关的标量指标，用于刻画 LLM 的潜在表征与动态特性。
arXiv cs.CLAI 评分2525 CARE：LLM 能否复现网络社区的真实反应？
研究者提出 CARE（Community-Aware Reaction Evaluation）框架，用 207 个 Reddit 社区对 2,166 篇新闻文章的 9,947 条真实反应，评测 LLM 模拟社区话语的保真度。结果显示，社区上下文与针对性推理能显著提升宏观态度和语气刻画，但在预测具体事件反应时这些增益基本消失；且社区条件化的收益分布不均，部分社区提升的同时另一些社区反而下降。
arXiv cs.AIAI 评分2727 ChartBmkAgent：以 harness 治理的多智能体从稀疏错误分类规范构建 Chart QA 基准
ChartBmkAgent 能从稀疏错误分类规范出发，构建完整 Chart QA 样本来把已识别的能力缺口转化为针对性诊断证据，由中心 harness 治理各专用智能体并记录每次验收依据。
arXiv cs.AIAI 评分2727 DSV-Mem：评估 MLLM 智能体在专业工作流中的多模态记忆
研究者提出 DSV-Mem 基准，用于评估 MLLM 智能体的密集有状态视觉记忆，包含专家审核场景和 1000 道题，覆盖 Current State、Past State、Derived State、Change History、Conflict/Refusal 五类。
arXiv cs.AIAI 评分3232 SpeedrunBench：用电子游戏速通挑战 LLM 智能体
研究者推出 SPEEDRUNBENCH，一个覆盖 9 款游戏的基准，用于评估前沿 LLM 智能体的策略形成能力。智能体需反复改进策略、反思表现并长程推理，以不断超越自己和他人。实验显示，前沿智能体在简单平台跳跃游戏中接近人类世界纪录，但在更长、更复杂的游戏上仍落后于人类表现。
arXiv cs.AIAI 评分2727 相同反馈，不同答案：衡量前沿模型客户反馈分析中的重复运行不稳定性
研究提出重复运行评估框架，用主题流失率和数量分歧两项指标衡量 AI 智能体分析客户反馈的稳定性。在 Claude Opus 4.8 和 1000 条记录语料下，基于分类体系的智能体（TGA）相比原始生成和分层分解将主题流失率降低 86–88%，匹配主题的数量分歧为零。该框架面向金融报告、法律文件等非结构化语料的重复综合任务。