DeepSeek 将公布 ARC-AGI-3 评测结果
DeepSeek 宣布将在未来几周内分享 ARC-AGI-3 评测结果，包括使用新的 DeepSeek provider adapter harness 得到的分数。该评测在操作上更为密集，测试完成后才会公布成绩。
#评测/基准
科技媒体 RSSAI 评分2222 科技媒体 RSSAI 评分3636 DeepSeek-V4.1-Flash 在 ARC-AGI 上的推理档位对比
ARC Prize 公布 DeepSeek-V4.1-Flash 在 ARC-AGI-1 上的结果：high 推理档得分 88.5%，低于 low 档的 90.5%。差异集中在 8 个任务上，high 在 5 个任务上低 4.5 分、3 个任务上高 2.5 分，且多消耗 35% 输出 token 却未带来更稳定的正确答案。
科技媒体 RSSAI 评分6666 ARC Prize 公布 DeepSeek V4.1 Flash 的 ARC-AGI 评测成绩
ARC Prize 公布 DeepSeek V4.1 Flash 在 ARC-AGI (Verified) 的成绩：ARC-AGI-2 得分 72.9%，每任务成本 $0.13；ARC-AGI-1 得分 94.5%，每任务成本 $0.07。相比 V4 Flash 的最佳成绩，ARC-AGI-1 高 5.5 分，ARC-AGI-2 高 11.5 分，但每任务成本高约 250%。
Hacker NewsAI 评分3838 RigMark：按编程智能体实际用法对本地 AI 做基准测试
RigMark 是一个面向本地 AI 的基准测试工具，按编程智能体的实际使用方式来评测模型。它来自 Hacker News 的 Show HN 发布，目前公开信息仅有项目定位，尚无模型、参数或跑分数据。
科技媒体 RSSAI 评分6060 Mistral Large 4 上线 Arena 的 Agent Arena 与 Code Arena 评测
Arena 宣布 Mistral 的 Mistral Large 4 已进入 Agent Arena，用户可前往测试投票，分数稍后公布。该模型为 1T 参数、49B 激活的原生多模态开放权重模型，也已在 Code Arena 的 WebDev、Text 和 Vision 中可用。
arXivAI 评分2424 大语言模型何时不该作答：潜在欠定信号的跨域与多轮泛化
研究构建了一个带轮次标注的多轮基准（423 段对话、1,661 个标注轮次状态）及配套评测框架，其中模拟用户会回答澄清性问题，并用六个数据集和六个开源权重 LLM 检验不可回答性探针的泛化能力。不可回答性可从隐藏状态中线性解码，但尚不清楚其哪些形式共享同一表征，以及该信号在多轮对话中是否有效。
科技媒体 RSSAI 评分6262 Mistral Large 4 发布：一万亿参数，主打美国闭源模型不愿接的安全任务
Mistral 发布其迄今最大模型 Large 4，拥有一万亿参数，并在欧洲自有基础设施上训练。在独立 Intelligence Index 上该模型有明显进步，但仍落后于 Claude、GPT-6 和中国竞品。Mistral 的主要卖点是承接美国闭源模型拒绝从事的网络安全工作。
科技媒体 RSSAI 评分2222 用 Jev-as-a-Judge 提升智能体评估可靠性
Jev-as-a-Judge 被用于提升智能体评估的可靠性。该方案针对智能体评估环节，旨在让评估结果更加可信。
科技媒体 RSSAI 评分2222 Jev-as-a-Judge 提升 LLM 评判可靠性
Jev-as-a-Judge 通过一致性提升了 LLM 评判器的可靠性，适合用于评判器、验证器和持续监控。该用法来自 Jev 最令人印象深刻的应用场景之一，作者长期从事 agent 评测、评判器与验证器方面的工作。
科技媒体 RSSAI 评分3232 Jev-as-a-Judge 实战教程：用 Jev 评估智能体执行轨迹
DAIR.AI 的 Elvis Saravia 发布 Jev-as-a-Judge 交互式指南，讲解如何用 TypeSafe AI 的决策模型 Jev 评估智能体的完整执行轨迹，涵盖请求、工具调用及结果、最终回复。
arXivAI 评分2929 Transect：为长时程 LLM 智能体评测保留可观测性
Transect 是一个开源工具包，用于在长时程 LLM 智能体评测中保留可观测性。针对多智能体网络产生的数百页输出与动作记录，它应对语言模型辅助分析带来的可复现性与可审计性问题。
arXivAI 评分1717 语言不可对齐性：为何部分概念难以进行跨文化基准评测
多语言 LLM 评测依赖一个隐含的“翻译同构假设”（TIA），即不同语言的语义结构可无损互映。该研究指出，对语用标记、敬语、历时分层术语等一类概念，这一假设在原理上就不成立，并用 usage-cloud 框架将概念表示为上下文化嵌入向量的点集来形式化这种失败。
arXivAI 评分3131 Learn2Play Bench：LLM 智能体在陌生环境中从经验学习的效果如何？
针对现有基准难以区分"从交互中学习"与"用已有知识推理"的问题，研究者推出 Learn2Play Bench，用全新设计的文本游戏评测 LLM 智能体的经验学习能力。该基准的任务规则不写在指令中，也不属于预训练模型熟悉的内容。
科技媒体 RSSAI 评分6262 Ant Group 发布 Ling 3.1 Flash，智能指数从 20 升至 41
Ant Group 发布推理模型 Ling 3.1 Flash，总参数 560B、激活 25B、上下文窗口 1M token。Artificial Analysis 评测其智能指数 v4.3 得分为 41，较 Ling 3.0 Flash 的 20 大幅提升，智能体能力改善尤为明显。
arXivAI 评分2222 小型希腊语-英语知识库中工具调用检索与向量 RAG 的对比：准确率及对用户希腊语输入方式的鲁棒性
研究在 KyGround 基准上对比工具调用检索与向量 RAG，该基准含 198 个问题，取自希腊 Kythera 一个希腊语-英语农业平台的公开记录，每题最多 9 种问法，包括无重音希腊语、全大写及三种 Greeklish 拉丁字母写法。以 Claude Haiku 4.5 作为路由与回答模型，比较两者准确率及对用户希腊语输入方式的鲁棒性。
arXivAI 评分2222 Agentic VLM 流水线中的视觉编排税：视觉证据复用的审计与认证
研究提出"视觉编排税"概念，指 Agentic VLM 流水线中语义未变的图像在 VLM API 边界被反复重建为图像条件请求，形成编排层冗余。作者构建了从测量到认证的框架，定义 M1_trace 统计原始视觉证据触碰次数，M2 衡量结构性触碰冗余。
arXivAI 评分2727 让 COMET 跨文字系统可比：Indic MT 评测中 tokeniser 引发的文字系统偏差的诊断与校正
研究在 IndicMT Eval 上测试 COMET 的"文字系统不变性"，将目标译文改写为拉丁字母后，文字系统身份可解释原生文字 COMET 分数 22.9% 的方差，且五种语言中与标注者的一致性全部下降。作者将这一偏差追溯到 tokeniser，并给出校正方法。
arXivAI 评分2222 惩罚框架下无正确选项 MCQA：分析 LLM 在无效选项下的弃答行为
研究提出"惩罚框架下无正确选项 MCQA"设定，基于 MMLU-Pro 数学子集移除正确选项，考察 LLM 是选择剩余选项还是弃答。该设定模拟真实部署中用户或检索系统提供无效选项集、误选会带来下游代价的情况，而传统 MCQA 评估默认选项中有正确答案。
arXivAI 评分3131 对话是双体问题：全双工对话模型的成对评估框架 DyaFDB
针对全双工语音对话模型常被单侧评估（预录音频或只出题不被评分的自动考官）的问题，研究者提出 DyaFDB 成对评估框架，将轮流发言、重叠与打断视为两个耦合说话者的共同产物。原文指出这类单侧框架只评估了双体问题的一半。
arXivAI 评分3434 DSV-Mem：评估 MLLM 智能体在专业工作流中的多模态记忆
DSV-Mem 是一个面向 MLLM 智能体的多模态记忆评测基准，聚焦 AI 研究、工程设计、产品管理与业务运营等专业工作流。现有基准多集中于日常非正式交互与个人生活场景，使用自然照片、孤立静态素材和回忆型问题；而专业场景涉及结构化、信息密集且频繁修订与权限更新的素材，以及需要组合推理的查询。
arXivAI 评分3232 SpeedrunBench：用电子游戏速通挑战 LLM 智能体
SpeedrunBench 提出用电子游戏速通这一社区实践来考察 LLM 智能体能否形成超越人类已有解法的策略。该基准关注智能体在缺乏现成人类方案时自主构建复杂策略的能力，而非复现人类已解出的任务。
arXivAI 评分2929 相同反馈，不同答案：衡量前沿模型客户反馈分析中的运行间不稳定性
研究提出重复运行评估框架，用于衡量前沿模型在客户反馈分析中的运行间不稳定性，核心指标为类别集归一化变化的主题流失率（theme churn）与类别计数变化的数量分歧（volume disagreement）。该框架对齐语义等价的类别，指出当底层证据不变时，智能体的类别、优先级与计数不应在多次运行间出现实质漂移。
arXivAI 评分2222 幻觉检测基准中的标注问题：一项实证评估
针对大语言模型幻觉检测方法的评测通常用开放域问答数据集，先让 LLM 生成答案，再用自动化标注策略对照参考答案把答案标为幻觉或非幻觉。这种评测设置使参考答案忠实度与事实正确性两条标准之间产生方法论歧义。该研究对幻觉检测基准中的标注问题进行了实证评估。
科技媒体 RSSAI 评分3434 AIHOT 上线模型性价比帕累托前沿功能
AIHOT 上线帕累托前沿功能，用户切换到右上角"性价比"即可查看模型性价比。该功能针对不同场景采用不同 Token 权重算法：综合与专业办公按缓存命中:输入:输出=7:2:1，编程按 97:2:1，科研按输入:输出=1:3，知识问答按 3:1。
arXivAI 评分3131 移动 GUI 智能体能否服务所有用户？个性化界面下的跨用户可靠性研究
研究提出 PAIR 流水线，用于构建用户条件化的应用状态，从而在同一任务上对不同用户进行受控评测，并揭示移动 GUI 智能体在个性化界面下的跨用户可靠性问题。同时提出 RePAIR 训练方法，利用子目标结果的跨用户差异进行强化学习，以提升跨用户可靠性。
arXivAI 评分3131 System One 模型在在线内容审核中的基准测试
研究评估了接受自然语言上下文、返回类型化选项、概率或分数的 System One 模型能否支撑在线审核场景。在五个审核基准上，Jev 与专用参考系统表现相当，在若干基于政策的场景和有害内容场景中持平或更优。研究还用受控信息条件区分了书面规则、检索到的先例等不同信息的作用。
arXivAI 评分2222 用四象限方法评估 Redpine Science
Redpine Science 通过 MCP 和 API 为模型与智能体提供经同行评审文献的统一访问入口。该报告从两个层面评估它：检索片段的相关性，以及模型接入 Redpine Science 后与使用网页搜索时的回答对比，同时采用公开基准和专家验证基准，以规避公开基准饱和与记忆化风险。
arXivAI 评分3636 统一多模态模型的视觉弃权能力：Draw-or-Decline 基准
研究者提出 Draw-or-Decline（DoD）基准，用 7 类任务共 1,050 对可行-不可行请求，同时衡量统一多模态模型的编辑成功率与对不可行请求的拒绝能力。在 8 个统一多模态模型上的评测显示，模型在编辑任务上的表现与其对不可行请求的弃权行为存在明显脱节。
科技媒体 RSSAI 评分3838 OpenAI Web Search 首登 Artificial Analysis 搜索指数排第五
OpenAI Web Search 首次进入 Artificial Analysis 搜索指数，得分 74，在 26 款产品中位列第 7、提供商第 5。该产品落后于 Perplexity、Octen、Parallel 和 Brave。
arXivAI 评分3131 ServeLearnBench：智能体能否从服务经验中自我改进？
ServeLearnBench 是一个评估 LLM 智能体能否从服务经验中持续自我改进的基准，针对现有基准或直接给出目标知识、或假设环境静态的覆盖缺口而提出。该基准关注真实环境中隐式、未公开且随时间变化的知识，用于刻画这类持续学习方法的有效性与局限。
arXivAI 评分3030 OTel：开放电信 AI 数据集、基准与模型
开放电信 AI 资源 OTel 发布面向检索、重排序、指令微调与安全/拒答的衍生电信数据集，并开源 30 个全参数后训练基线，覆盖 10 个嵌入模型、3 个重排序模型和 17 个语言模型。截至 2026 年 5 月 3 日，已发布模型下载量超过 1600 万次，项目获得全球 157+ 篇媒体报道。
arXivAI 评分2222 ST-Bench：面向科研任务的多智能体系统生成空间-时间基准
研究者推出 ST-Bench，一个用于检验 LLM 多智能体系统（MAS）能否在真实科学数据分析中胜过单智能体的空间-时间基准，包含 100 个改编自已发表地球科学研究的数据科学任务，覆盖水文学、农业等领域。该基准同时考察 MAS 相对单智能体的性能提升幅度与额外成本。
arXivAI 评分3131 LLM 如何在噪声证据下推理？VisualNoiseQA 主动视觉推理基准
研究者提出 VisualNoiseQA，一个面向噪声视觉反馈下主动推理的新基准：纯文本 LLM 需通过迭代查询固定的视觉工具来解决 VQA 问题，而反馈本身带有噪声与不确定性。现有主动推理基准大多假设环境反馈可信，或引入噪声却不提供显式、可校准的不确定性信号。
arXivAI 评分2929 SteerScope：LLM 激活引导方法的多维评测套件
SteerScope 是一套双轴多维评测套件，通过 15 项指标同时刻画 LLM 激活引导的效果与方法属性。现有评测只零散覆盖这些维度，导致引导有效性与副作用之间的权衡未被系统刻画。该套件强调有效引导不仅要诱发目标行为，还需限制非预期改变，并在不同输入与训练数据上保持稳健。
arXivAI 评分3838 EIO-Agents：AI 智能体评估缺失的语义层
EIO-Agents 是一个面向可互操作 AI 智能体评估的开放规范，由两层构成，其中 Evaluation Intelligence Ontology（EIO）提供语义层。该规范针对当前评估分数、trace、judge 输出与多评审结论常无法说明证据支撑何种主张、能确立什么以及如何导向决策的问题。
arXivAI 评分3434 VLM 抽象推理为何失败：匹配物体还是关系？一项机制分析
研究借用比较与发展心理学的 Relational Match-to-Sample（RMTS）范式，对 GPT、Claude、Gemini 等前沿 API 模型及 Qwen3.5、Gemma-4、InternVL3 三个开源系列做机制分析，探究 VLM 在抽象推理任务上系统性失败的原因。现有基准只能记录失败，无法说明缺失的是哪种认知能力。
arXivAI 评分3131 BioStudyBench：评估 AI 智能体复现生物医学研究的能力
BioStudyBench 是一个包含 25 项长周期分析任务的基准，任务取自 2026 年 7 月至 9 月首次发表的生物医学研究，这些研究晚于所评估模型的开发者报告知识截止时间，从 404,019 条 PubMed 记录中半自动筛选而来。每项任务只给智能体一个中立的研究问题、不提供数据文件，要求其用公开数据复现已发表研究的结论。
arXivAI 评分2424 LOGIC：面向航空航天电气系统意图驱动变更影响的 LLM 基准
LOGIC 是一个面向航空航天电气系统的受控基准与评估框架，让可本地部署的语言模型先将工程请求锚定到确定性的候选变更清单，再通过带类型的电气可追溯图传播选定变更。该设计将候选选择错误与下游传播错误区分开来，避免把检测到的所有差异都传播出去而产生过宽的影响报告。
arXivAI 评分3131 CheckerBench：长程智能体能否合成静态分析检查器？
CheckerBench 是一个可执行基准，包含 300 个任务，源自 167 个仓库、85 种 CWE 和五个语言生态中的 297 个 CVE，用于评估智能体能否从零完成静态分析检查器的开发。该基准要求智能体解读缺陷规范、检查仓库、实现分析器逻辑，并通过反复编译与分析反馈迭代改进检查器。现有编码智能体基准多聚焦补丁生成或漏洞检测，很少考察这一端到端能力。
科技媒体 RSSAI 评分3434 Eleven v4 Turbo 登顶 Artificial Analysis Provider Voice TTS Arena 榜首
ElevenLabs 的 Eleven v4 Turbo 在 Artificial Analysis 语音 TTS Arena 榜单中以 Elo 1334 位列 Provider Voice 第一。