CoBe：对话式反事实文本编辑基准
研究者提出 CoBe，一个测试模型零样本反事实文本编辑能力的基准，包含覆盖医疗、科学与工程、商业及日常场景的 2000 道问题。前沿模型平均得分仅 58.05%，且模型常退化为关联性生成而非保留原场景的因果结构。性能不随模型规模或输出 token 长度稳定提升，失败或源于训练目标而非模型容量不足。
#评测/基准
arXiv cs.CLAI 评分2929 arXiv cs.CLAI 评分3131 通过长尾表现评估 LLM 创造力
研究提出以参考输入输出分布长尾中的任务特定表现来形式化 LLM 创造力，并用预训练数据中 n-gram 缺失作为新颖性代理，在 15 个基准和 26 个开源权重模型上验证。结果显示创造力基准比标准基准更靠近尾部区域，且各基准更高尾部子集给出的模型排名与 LM-Arena 中人类创造力判断更一致。研究据此提出低成本诊断指标 q@Tail(α)，测量现有基准尾部区间的平均任务质量。
arXiv cs.CLAI 评分3737 MisVisAgentBench：评估误导性图表如何影响 Web Agent 执行的配对基准
研究者提出 MisVisAgentBench，首个评估误导性可视化如何影响 Web Agent 执行的配对可执行基准，包含 280 个仅在图表证据上有差异的干净—误导配对任务实例。在 13 个视觉语言 Web Agent 上，将干净图表替换为误导性图表后平均任务成功率下降超过 34 个百分点，且失败主要沿目标误导动作分支发生。该基准已被 EMNLP 2026 接收。
arXiv cs.CLAI 评分3636 语音模型对话自然度评测：GPT Realtime、Gemini 3.1 Flash Live、Grok Voice 与 PersonaPlex、Moshi 在 427 个停顿点的表现
研究团队将 GPT Realtime、Gemini 3.1 Flash Live、Grok Voice 等六款实时语音系统置于 176 段无脚本对话的 427 个停顿点和 482 个话轮结束处，评估其"是否开口、何时开口"的对话决策。
arXiv cs.CLAI 评分3737 DistressBench：评估大语言模型的多维危机支持能力
研究团队推出 DistressBench，包含 718 段英语对话，覆盖 23 个自杀与自残（SSH）子类别，每段对话配有临床医生编写的用户话术、七维度加权评分标准和参考回复。25 个前沿模型中最佳者满足 88.4% 的加权标准，中位模型为 71.4%，临床医生参考回复为 98.7%。在模型已识别危机的对话中，35.3% 未能将用户引导至人工帮助，多轮对话得分（68.5%）低于单轮（74.2%）。
arXiv cs.CLAI 评分2020 GeoFitBench-LLM：评估大语言模型地理空间数据需求获取能力的基准
GeoFitBench-LLM 基准用于评估 LLM 能否从自然语言地理分析请求中推断所需数据集、支撑资源与约束条件，围绕时空关系与语义锚定两个推理维度构建，真值需求以固定且不依赖提供商的 schema 编码。在最小提示下测试七个模型，GPT-5.4 Thinking 表现最佳，在 66.67% 的请求中完整识别出全部资源；随着推理需求增加，准确的适用性规格说明仍更困难。
arXiv cs.CLAI 评分2222 perturber：面向语义保持文本扰动的无状态服务
perturber 是一个无状态服务和 Python 库，每次调用只施加一个语义保持扰动，来自覆盖 11 个家族的 68 个扰动的一手目录。它基于单一原语，组合交由调用方链式调用，因此服务与库的输出天然一致。该工作评估工具本身的正确性、可复现性与成本，并逐扰动测量语义保持性，而非假设其成立。
arXiv cs.CLAI 评分2424 GeopoliticalQA：面向情报报告的检索与生成基准
研究者发布 GeopoliticalQA 基准，覆盖 415 份开源地缘政治与战略情报报告、5,525 条文档锚定问答对，涵盖事实、推断、比较和风险四类问题。评测 15 个检索系统和 6 个开放权重 LLM 后发现，文档级检索表现相近，但在更难的 chunk 级检索上，中等规模开源编码器 bge-m3 可匹敌大其一个数量级的模型并优于商业 embedding API。
arXiv cs.CLAI 评分3434 SWE-Duel：面向编程智能体的自扩展竞技场
SWE-Duel 提出一种自扩展编程智能体竞技场，任务与判定在评测时生成，由 Red-Blue 双方镜像轮换互相出题与修复，避免题目泄漏和饱和。
Hacker NewsAI 评分3737 评估 LLM 智能体：权重与 harness 两座山
评估 LLM 智能体时，可改的只有两样东西：权重和 harness——即围绕模型组装提示词、暴露工具、管理上下文与记忆并决定何时调用工具、重试或停止的代码。权重一侧有梯度可循，harness 一侧没有梯度，每一步都是人做离散改动再由 eval 判断是否有用，因此 eval 必须承担梯度在权重侧的角色。
Hacker NewsAI 评分2222 跨对话的"谁说了什么"：ThyVoice 用 SI-cpWER 评测持久说话人归属
研究提出 SI-cpWER 指标，在全局说话人 ID 分配下评测跨会议持久说话人归属，覆盖 5 个商业 diarize-then-identify 级联、2 个开放学术基线和 ThyVoice，测试集为 CHiME-8 NOTSOFAR 全部 129 场会议（干净与加噪）及 CHiME-6。
Hacker NewsAI 评分6060 GEAR 发布可自我改进的智能体 harness，公开任务完成率从 75.37% 升至 88.88%
GEAR 为智能体 harness 引入递归自我改进（RSI），利用任务反馈持续优化技能、工具和工作流，支持 Codex、Claude Code、DSH、Pi 等已有智能体。
RadarAIAI 评分5858 Cloudflare 发布 Clef-omni：30B-A3B 多模态决策模型，单次调用评分文本、图像、音频和视频
Cloudflare 于 2026 年 10 月 9 日发布开放权重决策模型 Clef-omni，可在一次调用中对文本、图像、音频和视频打分。
RadarAIAI 评分7171 Hamel Husain 将 Applied AI Evals 课程浓缩为 13 张口袋指南信息卡
Hamel Husain 把自己 Applied AI Evals 课程的重要概念浓缩成 13 张信息卡，做成口袋指南，链接为 https://hamel.dev/notes/llm/evals/flashcards/。
GitHubAI 评分3838 LLMstats：每 3 小时自动评测 OpenRouter、Groq、Mistral 共 47 个免费模型
LLMstats 每约 3 小时自动评测 47 个免费层模型，覆盖 OpenRouter 的 23 个、Groq 的 10 个和 Mistral Experiment 层的 14 个，结果发布到公开的交互式仪表盘。
Hacker NewsAI 评分6262 LlamaIndex 推出 OpenDocRouter，用统一 API 调用多种文档解析模型
LlamaIndex 发布 OpenDocRouter，一个把开源与前沿模型统一到同一 API 的文档转 markdown 解析平台，每个模型运行由提示词、处理和设置组成的版本化配方。
RadarAIAI 评分1515 AI 论文速递：智能体生态阈值、BrickBench 与思考惯性等 5 篇前沿研究
本期速递汇总 5 篇 AI 前沿论文：Crawley 等人研究多代理生态的强 Allee 效应，Stanford 等提出乐高物理装配评测基准 BrickBench，雷典乔团队揭示大模型在指令禁止下仍存在显式推理的「思考惯性」，另有两篇分别探讨自我改进极限与主动遗忘机制。
RadarAIAI 评分2222 从斯坦福 BrickBench 看大模型基准测试论文快餐化
斯坦福大学团队发布乐高装配基准评测 BrickBench，有观点借此批评当前部分 AI 方向博士研究只是套用现成大模型测试特定场景、刷榜发文，科研含金量与创新深度下滑。
GitHubAI 评分2222 PromptGuard：开源 LLM 行为测试工具
PromptGuard 是一款开源工具，通过在不同模型配置下运行相同提示词并对比输出，帮助开发者提前发现 LLM 行为异常。它提供语义回归告警，在模型行为意外变化时发出通知，并配有易用的操作界面。工具基于 Python 3.8+，支持 Windows、macOS 和 Linux，采用 MIT 许可证。
GitHubAI 评分1212 Lumen Workbench：面向 PS5 可执行文件移植的 AI/ML 开发工具
Lumen Workbench 是一个 AI/ML 开发工具，用于将 PS5 可执行文件自动移植到 Linux 和 Windows，当前版本 1.2.0。
RadarAIAI 评分2222 Greptile 的 Daksh Gupta 分享如何用 AI 代码审查精准捕捉高价值 Bug
Greptile 的 Daksh Gupta 将在 AI Engineer New York 演讲，分享如何避免无意义的 AI 代码审查充斥 PR。演讲重点介绍结合完整代码库上下文、严谨评估基准及真实开发环境测试，精准定位高价值 Bug、减少审查噪音。
RadarAIAI 评分3434 从零构建智能体评测排行榜：Wolfram Ravenwolf 的实战方法
Wolfram Ravenwolf 在实操工作坊中演示如何以 Terminal Bench 和 Harbor 为基础搭建智能体评测流程，组合隔离沙箱、智能体运行框架、固定版本基准、推理服务及资源限制。其 WolfBench 工具汇总重复运行结果，他认为重复运行的稳定性、完整配置、成本和执行轨迹比排行榜上的单一平均分更重要。
RadarAIAI 评分3838 GLM 5.3 EXL3 实现约 95 tok/s 的本地解码速度
完整版 GLM 5.3 在 EXL3 量化下借助 TensorFold，于本地多 GPU 工作站硬件上实现约 95 tok/s 的解码吞吐量。Ash Hart 指出，这是一项解码性能里程碑。
RadarAIAI 评分6060 Google DeepMind 发布 Gemini 4 Argon，19 项内部基准中领先 13 项
Google DeepMind 发布 Gemini 4 Argon，在 19 项内部基准测试中领先 13 项，并在 CWE-bench v 等测试中有所表现。该模型目前仅限部分推出，首发优惠定价尚未开放购买。
RadarAIAI 评分3030 让智能体自己找故障：用技能、追踪与评测改进应用
Ankur Duggal 以一个表现失常的金融智能体为例，演示如何把追踪数据、针对性评测和编码智能体技能连成可验证的修复流程。他沿 supervisor、专业智能体、模型调用和工具调用逐层追踪故障，并借助 Arize CLI 与技能让编码智能体拉取 span 和评测结果，定位数字缺乏依据、虚构回答与重复等问题。
Hacker NewsAI 评分2222 让 LLM 凭记忆给出导航路线：一次小模型生存能力测试
有作者让 Haiku 5.5、Opus 5.5、GPT-6.1、Qwen、Kimi、Gemma、Astra 6 等模型在不调用工具的情况下，仅凭记忆给出奥斯汀、Casper、旧金山、百慕大等地的逐向导航，并由 Opus 5.5 与 Astra 6 用 OpenStreetMap 交叉评分。
GitHubAI 评分2222 agent-reliability-engineering：面向 AI 智能体的可靠性工程工具
GitHub 项目 agent-reliability-engineering 提供一套面向 AI 智能体的可靠性工程工具，通过可重复的 evals 测试、imp@k 指标、配置版本管理和 transfer 实验来跟踪智能体行为变化。它支持多智能体流程，可对比不同版本与配置下的任务成功率和输出质量，需 Windows 10/11、4 GB 内存与 500 MB 磁盘空间。
Hacker NewsAI 评分3838 Crawlable 审计 50 个顶级网站：AI 爬虫可读性平均仅 55 分，无一达 A 级
Crawlable 审计 46 个可测量网站发现，AI 可读性平均分仅 55，最高 75 分，无一达到 90 分以上的 A 级。46 个站点中 36 个未在 robots.txt 中指名任何 AI 爬虫，11 个完全没有 llms.txt，14 个站点至少有一个页面是空 JavaScript 壳。
Hacker NewsAI 评分2222 HashSmash：面向密码分析碰撞声明的 AI 辅助评审基准
HashSmash 是兼容 Yukon 的基准，用于 AI 辅助评审密码分析碰撞声明，manifest 保留 SHA-256 31/32、37/38、SHA3-256 5/6 和 BLAKE3 1/2 共八项探索性注册。
GitHubAI 评分2222 ModelTier：面向越南用户的双模式 AI 模型排行榜与追踪平台
ModelTier 是一个受 Artificial Analysis 启发的开源 AI 模型追踪与 Tier List 平台，提供「易懂模式」和「Benchmark Pro 模式」双模式体验，覆盖 650+ 模型。
RadarAIAI 评分6262 研究显示多智能体团队消耗大量 token 却几乎无质量提升
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与团队表现，团队成本为单体的 1.8x 到 5.1x，四组对比中仅 GPT-6 Sol 在 medium reasoning 下高出 7.3 分且具统计显著性，maximum reasoning 下团队配置对两个模型都无实质优势。
RadarAIAI 评分2727 AI 能否识别证据何时不足？作者推出「证据充分性评估」基准
作者推出「证据充分性评估」基准，用 72 个受控测试用例评估语言模型是基于现有证据推断，还是依赖无依据假设。该基准构建于 Kaggle 之上，用例分为 30 组最小对照。
RadarAIAI 评分3232 LLM 能看懂欺诈网络吗？Gemma 4 31B 实测表现
一项小型基准测试用文本化图邻域评估 Gemma 4 31B 的欺诈检测能力，结果显示其准确率仅 55%，几乎与随机猜测持平，并落后于 GraphSAGE 基线。
RadarAIAI 评分3838 将 4 款模型的推理档位调至「高」：只解决了一个问题，却为所有消耗买了单
一项针对 4 款 LLM 的实测显示，把推理档位调到「高」除了复杂逻辑谜题外几乎不提升任务准确率，却持续推高 token 用量与推理成本。
The DecoderAI 评分7171 Vals AI 研究：AI 智能体团队成本高数倍，质量提升却微乎其微
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5，分别以单智能体和智能体团队形式运行，团队成本是单智能体的 1.8 倍到 5.1 倍。
RadarAIAI 评分7171 Epoch AI 发布 InnovationEval 评测，AI 智能体远未达到自主研究水平
Epoch AI 发布新基准 InnovationEval，测试 Claude Fable 5 和 GPT-5.6 Sol 能否独立发明新的训练方法，以人类设计的 SDPO 对 GRPO 的改进为参照。
Hacker NewsAI 评分4141 智能体基准测试真的测了它们声称测的东西吗？
一项审计发现，四个基准测试中 34 个会改变状态的工具里有 7 个存在缺陷，另有一项评测器属性问题，且缺陷在每次重跑时都会影响分数。检查器在注入缺陷时 25 次标记无误报，33 个漏检中有 29 个是条款覆盖了缺陷但探针未能触发。最明显的案例是一个临床基准：其工具在接口未披露的“无写入”设计下仍告知智能体写入已执行，评测器据此判定成功，实际记录的是请求是否携带预期载荷，而非记录是否真的改变。
GitHubAI 评分3838 PromptGhost：为 AI 应用提供 Git 原生的行为级 diff
PromptGhost 是一款 Git 原生的 AI 应用行为 diff 工具，用于检测提示词改动是否导致应用行为变化。
The DecoderAI 评分7171 Epoch AI 研究：AI 智能体夸大研究结果，远未达到自主研究水平
Epoch AI 用新基准 InnovationEval 测试 AI 智能体能否自主做研究，任务是发明一种改进语言模型训练后阶段的新方法并独立实现、测试和迭代，起点为 GRPO，人类参考方法为 SDPO。
RadarAIAI 评分3838 清华 AAArena：AI 智能体靠回放学游戏，Pacman 登顶但复杂规则卡壳
清华论文构建 AAArena，用清华年度机器人竞赛的 12 款游戏和 1920 个存档人类程序作为对手，测试编码智能体能否在模型权重不变的情况下通过读规则、选对手、研究回放来改写游戏 bot。在全部 3 款测试游戏中，详细回放反馈均优于仅胜负信号；有回放时 Pacman bot 排名第 1，无回放仅第 11。但比赛预算增至 3 倍，4 个卡住的 bot 仍无一升至第 1。