跳到正文
10月14日周三
  1. RadarAI62

    Gemini 4 Argon 登上 Arena 总榜第五

    TestingCatalog 援引 Arena.ai 消息称,Gemini 4 Argon 登上 Arena 总榜第五名,榜单前四依次为 Opus 5.5、GPT 6.1 Sol、Fable 5.1 和 GPT 6 Astra。Arena.ai 表示 Gemini 4 Argon(High)在 Agent Arena 中进入前五,并向 Google DeepMind 团队表示祝贺。

  2. RadarAI46

    卡内基梅隆与微软发布 CRBugBench:最佳代码审查 Agent 检出 71.9% 已知 bug

    卡内基梅隆与微软论文提出 CRBugBench,包含 1,800 个代码审查任务,每个 PR 引入一个人工确认并修复的 bug。最佳模型 claude-opus-5 在前 5 条评论中检出 71.9% 的 bug,高于 5 个月前 opus-4.6 的 47.7%,但在某公司私有仓库上下降最多 25.5%。作者建议审查 Agent 与人类审查者配合使用,并为其提供仓库自有知识。

10月13日周二
  1. RadarAI41

    DeepEval 发布 JevEval:用 Jev 替代生成式 LLM 当评估裁判

    DeepEval 团队发布 JevEval,用 Jev 替代生成式 LLM 担任评估裁判,把 LLM 评估从"生成判定"改为"结构化决策"。它将评估逻辑、语义判断与分数计算三者分离:人定义显式可审查的评估逻辑,Jev 返回概率分布而非生成文本,DeepEval 用固定公式算出确定性分数,解决传统 LLM-as-a-judge 不可解释、同输入两次运行分数不稳定的问题。

  2. RadarAI30

    Arena 测试 Meta Muse Wonder 3D 场景生成

    Arena.ai 让 @petergostev 对 Meta 的 Muse Wonder(Max)进行测试,覆盖一次性 3D 场景、动画 HTML 和前端设计,并与 Astra、Opus 5.5、GPT-6.1 Sol、Claude Sonnet 5.5、Fable、Kimi 和 Mistral 对比,同时列出每次生成的费用。Muse Wonder 的 Arena 评分即将公布。

  3. GitHub22

    LLM-Contract:开源 AI 智能体与 LLM 测试评估工具

    LLM-Contract 是一款开源免费的 AI 测试工具包,可对 LLM、聊天机器人和 AI 智能体进行评测、提示词回归测试与 RAG 接地检查,支持 OpenAI、Anthropic、Google AI 及任何兼容 API。它提供结构化输出校验、Flakiness 追踪和 CI Gates,测试失败时自动阻止部署,并支持命令行运行与 CSV/Excel 导入导出。

  4. GitHub12

    autoresearch-adal:在 Windows 上对比 AdaL 与 Claude Code 的 Autoresearch 基准测试工具

    autoresearch-adal 是一款 Windows 应用,用于在 Karpathy 的 Autoresearch 基准上对比 AdaL 与 Claude Code,可集中运行测试、并排查看分数、日志与输出文件。应用需 Windows 10 或 11,本地跑基准建议 8 GB 以上内存与至少 2 GB 空闲空间,并需填入 API key 或本地工具路径。

  5. Hacker News12

    同一创业难题分别问 ChatGPT、Claude 和 BAAB AI,三者回答有何不同

    一位创始人把"现在融资还是继续自举"的真实决策,用同一段提示词分别跑过 ChatGPT、Claude 和 BAAB AI。三者结论一致:不要只因故事讲得好就融资;ChatGPT 给出六个月运营计划和指标清单,Claude 建议先自举约四个月、并坦言结论取决于它没有的数据,BAAB AI 则先判定公司处于 Baby 阶段、标注评估不完整,并把 Path A 拆成三个各自需要证据的决策。

  6. GitHub28

    En Dash Consulting 推出 hotdogbenchmark:每周问 11 个大模型“热狗是不是三明治”

    En Dash Consulting 开源 hotdogbenchmark,每周一 12:00 UTC 向 11 个大型 AI 模型提问“热狗是不是三明治”,要求一词作答,并发布一份一本正经的行业分析师报告。基准还追问汉堡与塔可,并用“热狗是三明治”和“不是三明治”两种系统提示词测试模型的受暗示程度。项目无需 API key,mock 模式可离线跑通全流程,真实运行每月成本仅几美分。

  7. Hacker News64

    HWREBench:作者用 AI 破解多款智能设备并建立硬件破解基准

    作者在 Amazon 购买多款智能设备,用 AI 模型尝试破解,多数设备被成功攻破,并据此建立了硬件破解基准 HWREBench。测试显示开源模型几乎不拒绝请求,闭源模型仅给出少量警告;GLM 5.3 完成任务花费 1.63 美元,Deepseek V4.1 Flash 花费 0.08 美元。作者指出,抗破解较好的设备通常来自知名品牌、近期更新、暴露面小,并依赖配对时生成的密钥或物理干预。