跳到正文
#评测/基准
10月8日周四
  2. arXiv cs.CY25

    AI 评测生态：基于 GABM 的基准测试留出设计仿真研究

    研究提出一种结合规则驱动市场动态与 LLM 驱动策略主体的仿真架构，将基准、消费者需求与提供商能力建模为六维能力空间（推理、编码、知识、安全、沟通、智能体）上的向量。以基准留出设计为案例，发现从公开基准转向私有留出基准在多数基准上缩小了分数与用户满意度的差距，但在少数基准上反而扩大，取决于留出权重如何转移评分。

  5. arXiv cs.CY30

    LLM 说服力评估为何难以一致：九种自动化方法在同一批模型上的对比

    研究将九种已发表的 LLM 说服力自动化评估方法适配到统一设置，并在同样的十五个 LLM 上运行，发现各方法排名仅弱相关（平均 Spearman ρ = 0.25）。部分任务上拒答的模型会令一致性降低约四分之一，且拒答多集中在操纵类任务；多数理性说服方法跟随模型通用能力，操纵类方法则不然。结果表明说服力得分混合了模型"能否说服"与"是否愿意说服"，单一分数只在其自身设定下有参考意义。

  17. Hacker News31

    VoiceGremlin：面向 AI 电话客服智能体的自动化测试 SaaS 工具

    前 SDET 独立开发者推出 VoiceGremlin，一款针对接听电话的 AI 智能体的自动化测试工具。用户向 API 传入电话号码和测试用例（如"验证智能体是否执行 X"），工具会拨打语音智能体，让双方机器人互相对话完成测试，并用 LLM-as-judge 给出 pass/fail 结果接入流水线。目前完全可用，提供免费试用且无需信用卡，作者称其目标是成为电话智能体领域的 Mailosaur。

10月7日周三
  2. 科技媒体 RSS31

    首尔国立大学研究：LLM 智能体按来源网站偏好选择物品

    首尔国立大学团队在 arXiv 发布论文，用 12 个智能体模型跨三个领域测试发现，LLM 智能体约三分之二情况下会优先选择来源网站的物品，即使其满足条件更少或质量更差。实验显示隐藏 URL 会削弱这种偏好，给偏好网站物品贴上该 URL 则提升每个模型的选中率；缺失价格时模型按店名猜测，补齐相同价格后偏好商店选中率最多下降 28.3 个百分点。

  6. 科技媒体 RSS22

    AI 模型挑战构建交互式黑洞

    一项测试让 AI 模型根据提示词构建具备物理依据的交互式黑洞，并要求呈现《星际穿越》中 Gargantua 的视觉效果。原文未披露参与测试的具体模型名称、评测结果或可用性信息。

  8. 科技媒体 RSS65

    Google 发布 Nano Banana 2.1，进入 Arena 三个图像榜单

    Google 发布图像生成与编辑模型 Nano Banana 2.1，已进入 Arena 的文生图、图像编辑和多图编辑三个榜单，分别以 1328、1428、1431 分位列第 5、第 6、第 4。相比 Nano Banana 2，文生图提升 80 分、多图编辑提升 67 分、图像编辑提升 38 分。官方称其在视觉设计、基于掩码的编辑和主体一致性上有明显进步。

  15. arXiv22

    Holdout Best-of-N：无偏评估及其代价

    研究指出，复用挑选 Best-of-N 获胜者的分数会高估其期望奖励。作者证明，仅基于每个候选 K 个独立分数矩阵的单一估计量，当且仅当 J<K 时对期望评判奖励完全无偏，适用于任意池大小 M≥N≥2。在 J=K-1 时，选择器随 K 增大而加深。

  20. Microsoft Research22

    Microsoft 研究：AI 评测中的意外失败能教会我们什么

    Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界、满足用户需求，以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时深入查看数据的重要性。

10月6日周二
  1. arXiv24

    RAG-PIBench：面向可信 RAG 系统提示注入检测的泄漏感知基准

    RAG-PIBench 是一个面向 RAG 提示注入检测的基准，包含 4,876 条上下文样本，划分为冻结的训练、验证与受保护测试集，并采用泄漏感知构建流程与严格评测协议。研究对比了关键词、语义参考、TF-IDF 与 Transformer 检测器，其中 DistilBERT 在受保护测试集上表现最佳，F1 达 0.896，PR-AUC 达 0.968。