如何用 Amazon Bedrock AgentCore 构建可信 AI 智能体的生产级评估框架
AWS SMGS Operations 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向 AWS 全球现场销售的多智能体系统评估框架，覆盖 Performance Insights、Customer Insights、Data Insights 等子智能体。
#评测/基准
AWS Machine Learning BlogAI 评分3434 Databricks BlogAI 评分3434 Databricks 如何用领域知识注入提升 LLM 对 npm 二进制恶意包的检测
Databricks 针对 npm 恶意包中占比 3.8%（432 个包版本）的捆绑二进制样本，提出在推理阶段注入预计算静态证据的"能力画像"方案，而非微调模型权重。在 9 个模型上测试显示，含二进制包无法得出明确恶意结论的比例为 14.4%，是纯源码包 6.2% 的两倍以上。
Tessl BlogAI 评分5050 Tessl：75% 的 PR 已无需人工审查即可合并
Tessl 工程团队用 Tessl Code Review 审查其单体仓库每周超 1200 个智能体编写的 PR，约 75% 的 PR 无需人工修正即可合并。该工具基于团队自有编码规范审查，发现的问题中 91% 为真实缺陷，高于此前 AI 审查工具的 68%，每个 PR 修复的真实 bug 数量翻倍（1.56 对 0.75），单 PR 审查成本降低 35%。
Apple Machine Learning ResearchAI 评分2626 Plan 还是 Retrieve 先行？工具发现架构的规模研究
研究对比了 Retrieve-then-Plan（RtP）与 Plan-then-Retrieve（PtR）两种工具发现架构：在 ToolBench（46,984 个 API。
AWS Machine Learning BlogAI 评分2222 用 Amazon SageMaker JumpStart 部署并评测模型
Amazon SageMaker JumpStart 提供了一套可复用流程：从模型目录部署模型、用 SageMaker Python SDK 跑轻量性能测试，测完删除端点。
Databricks BlogAI 评分2222 Databricks 首次入选 Gartner 分析与商业智能平台魔力象限，获评"远见者"
Databricks 首次进入 Gartner 分析与商业智能平台魔力象限，即获"远见者"定位，并取得所有受评厂商中最高"愿景完整性"评分之一，创下该报告 20 多年历史上厂商首次入选的最佳表现。
Apple Machine Learning ResearchAI 评分3030 大语言模型用于机器翻译质量标注：人类与模型双双面临挑战
Apple 研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案上的表现，在覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据上对比其与人类标注者的一致性。
Microsoft ResearchAI 评分4141 微软 StudentSim：用个性化学生模拟器评估和改进 AI 辅导系统
微软研究院推出 StudentSim，一种从公开去标识化学习记录中训练个性化 AI 学生模拟器的研究系统，让 AI 辅导工具在接触真实学习者之前就能获得反馈信号。
Tessl BlogAI 评分1212 Tessl 伦敦 Meetup：真实世界中的 AI 评估与优化
Tessl 在伦敦举办 AI Native Dev 社区活动，聚焦现代 AI 系统在真实环境中的实际表现。NVIDIA 分享 Skip Softmax Attention 稀疏注意力方法加速长上下文 LLM 推理，Hugging Face 介绍用 Skills 和 MCP 实现模型训练自动化与模型间通信，Tessl 则分享大规模评估 AI 编程智能体的实践经验。
Tessl BlogAI 评分3838 AI Agent 评估需要可执行规格（Executable Specs）
Tessl 在 AI Native DevCon London 的分享指出，AI 编码智能体让 PR 数量增加，但审查环节反而成为新瓶颈，根源在于缺乏验证层。其方案是把产品意图写成可执行规格，由规划智能体拆解需求、多个验证智能体并行逐条检查预览环境，并同时结合规格与代码（而非仅看 diff）来判定实现是否符合意图。
Microsoft ResearchAI 评分2222 Microsoft 研究：AI 评测中的意外失败能教会我们什么
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界、满足用户需求，以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时深入查看数据的重要性。
GitHub Blog · AI & ML精选AI 评分6060 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的离线基准，基于 1.039 亿个 GitHub pull request 的分布特征构建，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由：GitHub 公开了代码审查基准的构建方法与评测口径，读者可据此理解 AI 代码审查能力该如何被量化比较。
OpenRouter AnnouncementsAI 评分4747 OpenRouter 推出 Model Router Benchmarks 路由基准测试页
OpenRouter 上线 Model Router Benchmarks 页面，从质量、速度、成本三个维度对 Auto Router、Unbiased Pareto。
Redwood Research精选AI 评分7474 Redwood Research：GPT-6-Astra 用填充 token 推理的能力远超此前模型
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 filler token 且被要求不推理时作答的表现，发现它在需要大量串行认知的任务上明显变好，例如 4-hop 自然事实推理从约 10-20% 提升到约 50%，旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由：Redwood Research 用填充 token 测试 GPT-6-Astra 的未言明推理能力，为 CoT 监控的有效性提供了可复现的对照数据。
Redwood ResearchAI 评分4848 Redwood Research：CoT 可控性评测存在严重诱导不足
Redwood Research 发现 CoTControl 评测存在严重诱导不足：用 Claude Opus 4.6 迭代提示词模板后，开源模型表现提升约 2-3 倍，GPT-OSS-120B 从 5.5% 升至 15%。
OpenAI 部署安全与系统卡精选AI 评分8888 OpenAI 发布 GPT-6 Astra 系统卡
OpenAI 发布 GPT-6 Astra 系统卡，披露该模型在安全与对齐方面的评测结果。在提示模型规避检测时，GPT-6 Astra 在 WMDP 上的 CoT 监控召回率低于 11%。
推荐理由：系统卡披露了 GPT-6 Astra 在 CoT 监控规避、隐蔽消极怠工与生化能力上的具体评测数据，可对照 GPT-5.6 Sol 看能力变化。
Augment Code Blog精选AI 评分6262 Augment 如何重写 Auggie CLI harness，使任务成本比 Claude Code 低 53%
Augment 重建 Auggie CLI 的 harness，在 SWE-bench Pro 上以相同通过率完成任务花费 1.27 美元，而 Claude Code 为 2.70 美元，便宜 53%。
推荐理由：Augment 公开了 CLI harness 重写的取舍过程与 SWE-bench Pro 成本对比，可参考其工具面收窄与检索替代探索的思路。
Modem Blog精选AI 评分6262 Modem 详解编码智能体如何读代码：如何为智能体写可检索的代码
Modem 发布《Writing Code for Agents》系列第一篇，指出编码智能体主要靠 grep/ripgrep 做文本搜索来导航代码库，因此变量、函数、文件名本身就是搜索词。
推荐理由：Modem 用自家 68 万行 LLM 生成代码库的实测数据，说明命名与类型如何影响智能体的检索开销与准确率。
OpenAI Alignment 研究博客精选AI 评分6262 OpenAI 研究：公开聊天数据能否预测真实世界的 AI 失准行为
OpenAI Alignment 研究团队用私有生产数据验证，基于公开数据集 WildChat 的部署模拟能较准确预测真实失准率。
推荐理由：OpenAI 用私有生产数据验证公开数据集 WildChat 能否预测真实失准率，并指出智能体场景的预测边界。