FDE-Bench：评估智能体在需求不明确真实业务请求中的端到端交付能力
首个基于真实客户项目构建的 FDE-Bench 基准发布，用于评估智能体在需求不明确业务任务中的端到端交付能力，涵盖 49 个组合优化与机器学习案例。在 18 种智能体配置中，最高平均交付得分仅 0.5510（FDE 参考值为 1.0），最高交付成功率（DSR）仅 6.12%，表明可靠的前置工程师级端到端交付对现有智能体仍不可及。
#评测/基准
arXiv cs.AIAI 评分3333 arXiv cs.CLAI 评分3636 似然不等于作者身份：AI 辅助写作中的人类贡献能否被可靠度量？
一项 arXiv 研究指出，基于提示词对文本预测能力的“人类贡献”度量可被轻易操纵：只需让模型从提示词中复制几个随机 ID（SPECIFICITY PADDING），仅给标题的请求就会显得比提供核心思想的请求更“像人写的”。
arXiv cs.CLAI 评分2424 通过候选集视觉定位识别对话歧义：CandVG 基准与 CSVG 任务
研究者提出候选集视觉定位（CSVG）任务，用于估计与对话上下文一致的对象集合，并推出评估候选集随对话轮次变化的 CandVG 基准。对视觉语言模型的评测显示，更强的视觉定位能力并不必然带来更好的 CSVG 表现，模型难以预测完整候选集，且在早期轮次过早锁定少量候选。针对 CSVG 设计的指令可部分缓解这一局限。
arXiv cs.CLAI 评分2222 BANGLAPLAN：孟加拉语约束规划与决策基准
研究者发布 BANGLAPLAN，一个覆盖十类任务、共 1,000 道题的孟加拉语约束规划与决策基准，含可行与不可行问题及四种语言语域。评测 11 个开源与闭源模型配置显示差距悬殊：GPT-6.1 Sol 准确率 98.7%，Qwen3.5-27B 开启 thinking 达 80.3%，而直接作答配置最高仅 30.9%，11 个配置中有 7 个低于“全部不可行”基线。
arXiv cs.AIAI 评分3131 ACED-Bench：评估 LLM 智能体如何获取并依据因果证据行动
研究者推出 ACED-Bench，一个神经符号基准，用于评估 LLM 智能体能否主动设计实验、解读有限证据并做出因果决策。其主榜单 ACED-CORE 含 180 项任务（60 项因果祖先/后代集合问题、120 项受限因果决策任务），另有 150 题的 ACED-QUAL 资格检查。
arXiv cs.AIAI 评分3131 哪些元数据影响 MCP 中的 LLM 工具选择？来自受控因子级干预的证据
研究对 367,174 个 MCP 工具的元数据分析发现，功能相似的工具存在显著参数 schema 差异。通过跨 5 个 LLM 和 5 项任务的受控干预实验，参数 schema 变化引发的选择偏移最大且最一致，模型倾向分离的顶层参数而非分组或复合形式；当仅有一个 schema 满足显式请求要求时，全部 5 个模型都选择了兼容工具。
arXiv cs.CLAI 评分3636 如何测量并减少 LLM 智能体的不可用回复
研究提出"回复可用性"指标，用读者模型从请求者视角判断智能体回复能否被理解和使用，其与五名标注者多数意见的一致率处于个体标注者区间内。在七个家族八个模型的 480 条回复中，54% 失败，最佳模型仍有 30% 失败，失败多因指向请求者未见材料或使用智能体自造标签。明确回复要求可将失败率从 0.52 降至 0.43，再用次级模型改写回复可降至 0.36，并经人工盲评确认。
arXiv cs.CLAI 评分2222 J-tau：面向工具-智能体-用户交互的全本地化日语基准
研究者发布 J-tau，首个公开的日语基准，用于评估交互式客服场景中使用工具的 LLM 智能体。该基准通过机器翻译、实体适配和人工审核对 tau-bench 进行本地化，并修复了原基准的无效任务与分数聚合错误两个缺陷。实验显示 J-tau 的评估错误少于直接机器翻译版本。
arXiv cs.AIAI 评分3838 Long-Horizon-Terminal-Bench 2.0：自动化任务构建与衡量智能体持续进展
Long-Horizon-Terminal-Bench 2.0（LHTB 2.0）发布，保留原有 46 个任务并修正缺陷、扩展 31 个任务，共含 13 个领域、8 种任务类型的 77 个任务。
arXiv cs.CLAI 评分3232 表格数据上的类型化决策模型研究
研究在表格数据上对比四种类型化决策模型与三个 LLM，覆盖行分类、事实核查和异常检测任务。每个请求以原始形式及 21 种保持内容不变的改写形式发送，决策模型以更低成本达到与 LLM 相当的表现，其中三个对问题表述方式远为稳健。但所有模型对表格组织方式都不稳健，至少三分之一的决策会因表格或问题的某种改写而改变，低概率决策最易变化。
arXiv cs.AIAI 评分4747 智能体数据科学中的沉默失败：现有评测为何掩盖了方法论缺陷
研究指出，现有智能体数据科学（agentic DS）评测只看下游预测性能和代码正确性，掩盖了数据泄漏、验证不当等方法论失败。作者在 220 个数据科学任务上分析了常见智能体框架和模型的失败模式，并构建了可复用测试套件，针对六类特定失败进行受控测试。
arXiv cs.AIAI 评分3636 首个基于 LLM 的 Levin Kt 超智能 C-test 基准发布
研究者提出首个以 LLM 作为表示机器的 Levin Kt 测试，可生成难度以比特为单位、超越当前人类与前沿模型能力的高难度题目。该测试形式化了度量方法并搭建轻量级生成与认证流水线，首批认证题目已在 12 个 LLM 上测试，智能体特征曲线随难度下降，延伸至可认证却超出前沿智能的超智能窗口。
arXiv cs.CLAI 评分2323 LLM 如何理解法哲学？LePhilBench 诊断大语言模型的法哲学推理能力
研究者提出 LePhilBench，用于评估 LLM 的法哲学推理能力，包含两项基准任务与一个数据集。其测试集收录 220 份美国最高法院判决意见，由法学教授设计 14 个法哲学标注问题，3 名受过法学训练的标注者完成全部标注，共产生 9,240 个法哲学标签。
arXiv cs.CLAI 评分2626 KoAGE：大语言模型能否识别、学习并创造韩语新词？
研究团队推出 NeoTrace 框架与 KoAGE 基准，用于评估大语言模型对韩语新词的掌握。该基准含 4,271 条新词条目，覆盖三项习得任务与两项生成任务，其中生成任务首次在原始语境下对比模型造词与真实新词。在 21 个模型上，词汇记忆与语境推断出现分化：五模型时序分析中，模型仅能定义 13-30% 的截止年份新词，却可从单次用法推断含义。
arXiv cs.CLAI 评分2424 压缩记忆评估：依赖性、效用与内容增益
研究指出，仅靠将记忆向量置零后模型得分下降，并不能证明压缩记忆优于无记忆模型。在九个系统中，部分模型依赖记忆却表现不如无记忆训练的替代模型；TriviaQA 上给 xRAG 换用其他问题的段落，F1 从无文档的 19.38 升至 24.78，但该问题自身检索段落得分更高，达 29.88。评估需明确对比模型、绝对性能及生成与评分条件。
arXiv cs.CLAI 评分3232 PersEvalBench：LLM 评估器能否判断人设信息的语境恰当使用？
研究者推出 PersEvalBench，用 403 个多轮场景测试 LLM 评估器能否识别用户历史信息的恰当与不当使用，覆盖欠个性化、过度个性化和状态误用三类共九种受控错误。在五个 LLM 评估器上，即便提供完整对话历史，错误识别率仍有限；人类对欠个性化错误的识别率为 94.4%，最强评估器仅 63.9%，且常把错误方向判反。高亮相关历史轮次仅带来小幅提升。
arXiv cs.CLAI 评分2525 LLM 智能体能否高效识别家电故障？来自模拟家电诊断的洞察
研究者提出 CoffeeBench，一个用模拟家电测试 LLM 智能体故障诊断能力的任务。被测 LLM 难以仅凭传感器信息稳定识别故障，但表现最好的模型能迭代缩小故障选项空间并最终完成诊断。分析还发现，初始诊断不确定性和 LLM 评判的推理合理性是预测诊断成功的高信号指标。
arXiv cs.MAAI 评分3131 UnCoBench：当 LLM 多智能体协作遇上不可靠同事
研究团队提出 Unreliable Colleagues Benchmark（UnCoBench），用 Misaligned、Incomplete、Missed 三类设定刻画协作中信息错位、细节不足与不响应等行为失败，要求主智能体验证上下文正确性、诊断信息缺口并追踪未解决依赖。
arXiv cs.CLAI 评分2020 NEPSEE：尼泊尔语情感分析的双标注基准
研究者构建了尼泊尔语情感分析基准 NEPSEE，由两位标注者盲标尼泊尔公众人物推文的 5,614 句，仅保留极性一致的 3,189 句。
arXiv cs.CLAI 评分2424 如何评估你不知道如何评估的东西？为基础语言模型基准测试选择可靠设置
研究针对 LLM 评估中缺乏指导的设计决策问题，考察了任务表述、上下文示例数量等 8 个方面，以单调性、非随机性和中间 checkpoint 排名一致性三项信号标准作为元度量进行比较。在早期预训练场景下，基于 26 个 2B 参数单语模型、4 种语言的 80 项任务进行评估，并在 3 个 ≥7B 的更大 LLM 上验证。结果显示多提示词等选择始终有效，而任务表述等选择则取决于模型规模。
arXiv cs.MAAI 评分2222 AuditFlow：面向结构化财务报告验证的可执行符号环境
AuditFlow 是一个基于可执行符号环境的图结构多智能体框架，用于 XBRL 数值一致性验证，将可复用的 US-GAAP 分类图与具体申报的 XBRL 证据关联，并提供检索、遍历、计算和规则评估工具。
arXiv cs.CLAI 评分1818 如何找到好指标：多语言风格个性化生成的指标元评估
研究提出基于回归的指标元评估方法，在校准后的指标输出上学习预测人类评分，并以常数均值基线和人类一致性为参照衡量指标能力。团队构建了覆盖 10 种语言、4 个评价维度的大规模多语言风格个性化生成（SPTG）基准，对三类风格评估范式的 32 个指标及其集成在 40 种评估设置下进行元评估。结果显示，经人类评分校准后，简单的字符串和嵌入向量指标可媲美强 LLM-judges。
arXiv cs.CLAI 评分2929 DecisionRobust：跨文本与视觉的 JEV 风格决策模型鲁棒性基准
研究者推出 DecisionRobust，一个系统评估 JEV 等决策模型在文本与视觉输入下鲁棒性的基准，涵盖语义保持文本扰动、图像扰动及两种模态的提示词注入攻击。实验评估了文本任务 30 个、视觉任务 17 个模型配置，发现攻击能暴露构建与筛选所用模型之外的漏洞，且对输入扰动的抵抗力不必然意味着能抵抗提示词注入。标签一致性检查可显著降低文本与图像场景下测得的攻击成功率。
arXiv cs.CLAI 评分2222 相似模型，失真的赔率：Luce 公理在 Chatbot Arena 中的失效之处
基于 180 万条 Chatbot Arena 投票，研究发现 Bradley-Terry 模型所依赖的 Luce 选择公理在相似模型间失效：同一模型不同版本之间的投票比预测更具决定性，达 1.37 倍，同代不同规模为 1.26 倍，同一实验室不同模型为 1.12 倍。
arXiv cs.CLAI 评分2424 LLM 能否调用世界知识进行事件预测？DescribeEvent 基准给出答案
研究提出 DescribeEvent 基准，包含七个数据集、六个领域约 15 万条事件及事件级描述，用于检验 LLM 的事件预测能力。结果显示，能力较强的 LLM 在结合自然语言描述与符号标签后显著优于无描述变体及非 LLM 基线，而较弱模型收益有限。作者认为，LLM 的世界知识能否用于事件预测是接口设计问题，事件描述可有效激发模型已编码的知识。
arXiv cs.CLAI 评分2222 八款 LLM 的英语与孟加拉语摘要能力评测：GPT-5.6 Luna、LLaMA 3.3 70B、Gemini 2.5 Flash 表现分化
一项研究对八款闭源与开放权重 LLM 在规模匹配的英语和孟加拉语 XL-Sum 测试集上做了零样本评测，结合词汇与语义指标、无参考事实性验证及 LLM-as-a-Judge 多维评估。
arXiv cs.MAAI 评分4040 良性多智能体系统中的错误信息传播
研究提出 MINT 数据集，包含 10,278 段 LLM 撰写的八种风格错误信息段落，测试三个开源权重模型在常识推理、知识问答和道德判断上的表现。相关虚假段落使单个智能体准确率损失 0.12-0.43，无关或无内容段落损失通常不超过 0.06。一句不可靠性警告在投票下最多恢复 0.18 准确率，共识下恢复 0.28。
arXiv cs.CYAI 评分6262 我们离真正的自动科研还有多远？ResearchArena 评测 117 篇智能体生成论文
研究团队提出 ResearchArena，让 Claude Code（Opus 4.6）、Codex（GPT-5.4）和 Kimi Code（K2.5）在轻量引导下自主完成选题、实验、写作与自我改进的完整科研流程，在 13 个计算机科学种子、每个智能体-领域组合 3 次试验下共生成 117 篇论文。
arXiv cs.MAAI 评分4040 The Wealth of Agents：多开发者智能体系统如何扩展 Agentic AI
研究提出多开发者智能体系统（MDAs），让开发者协作构建智能体系统以突破单开发者（SDAs）的能力上限。在 GAIA 基准上，单个智能体准确率不超过 35% 的专业开发者群体，其智能体组合成 MDA 后达到 70%，比开发预算高出数倍的中位通用 SDA 高 12 个百分点。理论模型显示 MDAs 可激励专业化分工并更高效利用开发者资源，初步论证其作为 Agentic AI 新扩展轴的价值。
arXiv cs.MAAI 评分2424 竞争激励下 LLM 共识形成的驱动因素：一项模拟研究
一项基于 Network Consensus 游戏的模拟研究评估了 LLM 在竞争激励下达成共识的机制，测试了六个开源模型和 ChatGPT 5.6-sol。开源 LLM 达成共识的频率低于人类，且仅在消息可全网传播时才能实现；ChatGPT 5.6-sol 则能在仅与邻居通信甚至无通信能力时达成共识，这得益于其更低的固执性和更高的从众倾向。
arXiv cs.MAAI 评分4040 LAGO：将专用语言智能体作为可复用可增长选项
LAGO 将专用语言智能体视为可复用的时序扩展选项，由元智能体从持久库中检索或新建选项、派发子任务并验证结果，库可跨任务增长而无需更新模型权重。
arXiv cs.CYAI 评分3131 ChronoCulture：评估大语言模型跨时间文化意识的新基准
研究者推出 ChronoCulture 基准，包含覆盖 72 个国家、基于纵向调查数据构建的 10,360 个时间配对，每个配对含同一国家同一调查问题在新旧两个年份的完整人口回答分布。在六个 LLM 上测试发现，模型常能预测某国某一时点的态度，却无法可靠捕捉态度随时间的变化，其不同年份预测往往彼此接近；在提示词中指定目标年份也几乎不能提升与调查回答的对齐度。
arXiv cs.MAAI 评分2929 多智能体团队中准确率为何无法认证心智理论：Smart Alone, Blind Together
论文指出，用推断准确率来认证多智能体协调模块是错误的，因为所需准确率取决于部署场景的错误代价，且模块间错误存在相关性。在任务分配、Level-Based Foraging 和 Hanabi 测试中，准确率双向失效：在 Hanabi 中批准了有害的 LLM 部署，在任务分配中拒绝了有益的部署。
arXiv cs.MAAI 评分3939 CyberArena：在实时对称攻防对抗中评测 AI 智能体
CyberArena 是一个动态对称的攻防对抗基准，让两个 AI 智能体在隔离沙箱中按相同规则同时扮演攻击方和防御方，围绕持续变化的服务进行多轮对抗。研究团队用 466 场比赛、40 项挑战评测了 12 个前沿 LLM 智能体，并引入动力学模型将对抗过程映射为攻防及领域能力的多维统一评分。该基准还通过自动化智能体流水线持续生成和验证新环境，以延长其使用寿命。
arXiv cs.CYAI 评分2727 谁的数据，谁的基准？一个以用户为中心的评估资源审计框架
研究者提出一个以用户为中心的审计框架，区分贡献基准内容的用户与评估结果所代表的目标用户，并在内容、元数据、文档和评分流程四个层面操作化七个维度。对 16 个资源的审计发现，11 个文本基准中美国中心惯例占匹配信号的 62.4%-94.4%，5 个图文资源的地理可见度与各国 GDP 份额强相关（Pearson r 均值 0.780）。
arXiv cs.MAAI 评分3838 CLASHarness：用可控可验证生成管线评测计算机使用中的多智能体冲突
研究者推出 CLASHarness（Conflict-Loaded Agent Scenario Harness），一个可控生成计算机使用场景中可验证多智能体冲突的框架，并附带 600 个多轮任务基准。
RadarAIAI 评分4242 MiniCPM-V 4.7 推测解码达 370 tok/s
OpenBMB 的 MiniCPM-V 4.7（35B A3B）搭配 DSPARK Drafter 实现 370 tok/s 的推测解码速度，10 秒内生成 3,589 tokens，持续吞吐 370.0 tok/s、峰值突发 351.8 tok/s，TTFT 平均 0.30s。OpenBMB 称这是社区对推测解码极限的又一次突破。
RadarAIAI 评分5555 Agent Evals 实践指南：从 trace 到持续优化的工程流程
该推文总结了 LangChain 团队关于 Agent Evals 的最佳实践，强调从真实 trace 数据构建最小数据集，并采用离线与在线分层评估。文中还提到代码优先、LLM 校准、容器化等技术，用于实现可靠的 agent 质量控制，内容基于 @divyasan0 的博客。
RadarAIAI 评分3838 Design Creativity Bench：AI 创意能力仍远不及人类，GPT-6 Astra 居首
Kombaico 发布 Design Creativity Bench，评估 34 个模型的 UI 设计创造力，最佳模型 GPT-6 Astra 得分 65.5，人类参考为 92.3。AI 在功能适切性上表现良好，但原创性与创意广度严重不足，训练可能过分追求平均一致而牺牲独创性。
RadarAIAI 评分2727 anatomy 视频生成 Skill 评测：一句话生成科普视频，TTS 用豆包
anatomy 视频生成 Skill 的评测显示，它能从一句话提示快速生成高质量科普视频，TTS 环节由字节豆包处理，整体效果适合用于视频起号。作者认为该工具性能出色，适合内容创作。