跳到正文
#评测/基准
10月15日周四
  1. arXiv cs.AI23

    如何测量 LLM 评测中的所有噪声

    研究定义并测量了 LLM 评测中的三类噪声：同一问题生成不同答案的预测噪声、采样问题的数据噪声，以及依据总方差定律合并的总噪声。作者提出 all-pairs comparison 方法，对 LLM 所有配对做成对比较，基于数百万条问题级预测测量各噪声分量。结果显示多数评测在所有模型对上呈现高度可预测的总噪声水平，且成对预测噪声通常大于成对数据噪声，通过平均降低预测噪声可显著提升统计功效。

  2. arXiv cs.AI33

    SoK：系统化 LLM 提示词安全——越狱攻击与防御的分类体系、数据集及统一评估

    一项 SoK 研究系统梳理了 272 项 LLM 提示词安全研究，提出越狱攻击、防御与模型漏洞三套多标签分类体系，并发布开源平台 PromptSecurity 及配套数据集 JailbreakDB（445,752 条越狱提示对、1,094,122 条良性提示）和 PromptSecurity-Eval（166,200 条有害查询、9,200 条良性效用记录）。

  4. arXiv cs.AI29

    BenchHub：面向 LLM 评测的组合感知框架

    研究者提出组合感知评测框架 BenchHub，将 benchmark 表示为实例级属性的分布，整合 54 个 benchmark、839K 样本、覆盖 10 种语言。该框架揭示动机相似的 benchmark 内部构成差异显著、现有 benchmark 常含超出其既定用途的可复用覆盖，且模型排名在不同重加权与重采样配置下会发生变化。

  5. arXiv cs.AI24

    Polyrating：一种低成本、感知偏差的 LLM 评测评分系统

    Polyrating 是一种基于最大后验估计的 LLM 评分系统，可检测并量化影响人类偏好的偏差，实现更公平的模型比较。它利用已有 benchmark 分数，将新模型的人类评测成本最多降低 41%，新任务最多降低 77%。该系统还支持跨不同任务直接比较评分，全面呈现 LLM 在不同应用中的强弱与相对表现。

  6. arXiv cs.AI24

    LLMRec：大语言模型推荐任务基准测试

    研究者提出 LLMRec，在评分预测、序列推荐、直接推荐、解释生成和评论摘要五项推荐任务上对 ChatGPT、LLaMA、ChatGLM 等现成 LLM 进行基准测试。结果显示，LLM 在序列推荐和直接推荐等准确性任务上仅表现中等，但在可解释性任务上达到与 SOTA 方法相当的水平。研究还考察了监督微调对提升 LLM 指令遵循能力的效果，代码、数据和基准结果已公开。

  7. arXiv cs.AI22

    MS-Exam-Gen：面向多发性硬化 MRI 影像知识评估 LLM 的自动基准构建工具包

    MS-Exam-Gen 是一个可复现的自动基准构建工具包，用于评估 LLM 对多发性硬化 MRI 文本知识的掌握，不涉及直接影像判读。它从 66 个来源索引出 4,289 个检索块，生成含 16 个主题、53 个子主题的 3,058 道锁定候选题，在 12 个 LLM 端点上完成 36,696 次预测，准确率跨度达 42.8 个百分点（89.7% 至 46.9%）。

  8. arXiv cs.AI32

    SkillScriptBench：面向可执行 Agent 技能包自演化的基准测试

    研究者提出 SkillScriptBench，一个 350 任务的基准，用于分别评估 LLM 智能体在文档修复、脚本修复与保持正确行为上的技能自演化能力。该基准从超 35,000 个 GitHub Skill 仓库中选取 100 个包构建 150 个修复任务，另设 200 个受控任务在 clean、文档故障、脚本故障及双重故障四种状态下评测。

  11. arXiv cs.AI22

    BSDProbe：用条目级能力边界诊断 LLM 基准可靠性

    BSDProbe 提出条目级基准结构诊断框架，通过沿经验排序的模型轴重复采样，构建边界位置、边界宽度、边界信号有效性与顺序一致性四维画像，并在六个基准上识别出不同比例的可疑条目。以 Qwen3 同时作为选择轴与参考轴时，其归一化区分度比各基准最佳基线平均相对提升 17.9%，与完整基准的排序一致性也达到或超过所有基线。

  17. arXiv cs.AI35

    PhysElite：LLM 距离解决奥赛级物理题还有多远？

    研究团队发布 PhysElite，一个面向奥赛级物理推理的大规模双语多模态基准，包含 11,586 道奥赛级题目，每题配有图示、中英双语分步解答推导和最终答案。对 18 个开源与闭源 MLLM 的评测显示，最强模型答案准确率仅 33.7%，研究还通过步骤级过程评估诊断模型推理链中的失败环节。数据集已公开。

  18. arXiv cs.AI31

    ReguSim：评估 LLM 智能体在金融合规中的规则落地能力

    研究者推出 ReguSim 金融合规环境和 ReguBench 目标标记监测基准，用于区分陈述推理、尝试动作、执行约束与监测证据四个环节。在 DeepSeek V4 Pro 和 Gemini 3.5 Flash 的交易智能体测试中，可见规则能减少但无法消除被拒动作，激励或人设设定会改变行为。监测环节中，简单结构化基线可持平或超过仅用提示词的 LLM。

  19. arXiv cs.AI27

    SkillEval：将 AI 智能体技能质量拆解为可解释信号

    研究者提出 SkillEval，一个面向文档级技能的可解释评估框架，通过固定且可检查的评分方向为每项属性生成可解释分数，并测量和降低无关文档特征的影响。在受控质量测试中，SkillEval 能可靠区分不同质量的技能，其分数与下游任务表现密切相关，可提前预示技能有效性。该框架还可用于诊断文档弱点并指导针对性修订，从而提升目标属性与下游任务通过率。

  20. arXiv cs.AI32

    ContinualSkillBench：LLM 智能体真能持续进化技能吗？

    研究者提出 ContinualSkillBench，一个面向上下文持续技能学习的动态评测框架，覆盖五个领域、每域 100 个按难度排序且可技能迁移的任务。实验显示顺序执行通常提升表现，但增益因模型和领域差异明显；保留上下文与反馈而不维护技能库，平均表现与显式技能库几乎持平，显式技能仅在需要可复用流程或精确输出的任务上有选择性优势。

  22. arXiv cs.AI31

    LLM 规划能力研究：ACPBbench-Hard 上揭示两种不同的规划能力

    研究在 ACPBench-Hard 上评估多个 LLM 系列，结合多维项目反应理论发现 LLM 规划表现由两种潜在能力主导：操作推理（评估局部动作适用性与即时状态转移）和结构枚举（推理目标可达性与地标结构）。操作推理随模型规模扩大和推理链变长而提升，结构枚举则相对不敏感。作者据此提出应转向能力层面的 LLM 规划评估。

  27. arXiv cs.AI27

    Litmus：面向 AI 系统评估的零标签、代码驱动指标规范方法

    Litmus 是一个零标签系统，通过从源代码中提取评估意图并配合针对性追问，为 AI 流水线设计评估与监控指标，再将答案转化为各阶段指标组合的约束条件。在三个真实代码定义的流水线上对比 AutoMetrics 和三个 DynamicRubric 基线，Litmus 在同等规模下覆盖更广的关注点、跨越更多阶段，并实现近零冗余的指标组合。

  28. arXiv cs.AI22

    LATTEArena：面向 LLM 表格特征工程的评估框架

    研究者提出 LATTEArena，一个面向 LLM 驱动的自动化表格特征工程（LATTE）的标准化、模块化基准框架，将 15 种代表性方法拆解为统一的 6 维分类体系，并评估 7 个研究问题下的 24 种核心配置。该框架在预测精度之外量化 token 效率与执行鲁棒性，得出 17 项成本效益权衡发现，并给出 3 条实际部署建议。全部代码、数据集及超 4000 条执行日志已公开。

  30. arXiv cs.AI26

    OracleProto：通过知识截止与时间掩码对 LLM 预测能力进行基准测试的可复现框架

    OracleProto 是一个在受控时间掩码环境下评估 LLM 预测能力的可复现框架，通过模型知识截止约束和时间掩码构建时间沙盒，并借助泄漏检测审计信息边界。该框架在 300 道 FutureX-Past 衍生问题上对 27 组模型配置进行了 24,300 次预测试验，评估预测质量、采样稳定性和成本效率，检索结果残余泄漏率仅 1.37%。代码已开源。

  32. arXiv cs.AI29

    LLM 智能体评审的分数与覆盖度为何脱钩：一项基于 960 场会话的研究

    研究通过 15 项任务、两组模型配对共 960 场会话发现，基于人格设定的 LLM 智能体评审在 Turing 式验证中与人类评分者难以区分。评审质量分数随评审团规模呈对数增长，而新问题发现量呈次线性幂律增长，分数饱和速度约为发现速度的两倍。这一脱钩源于评审团多样性：Big Five 人格条件让智能体探查不同质量维度，消融实验证实结构化人格设定而非简单提示词才是产生该缩放特性的必要条件。

  33. arXiv cs.AI22

    ScoringBench：用恰当评分规则评估表格基础模型的基准

    研究者推出 ScoringBench，一个开放可扩展的基准，用（加权）CRPS、能量分数和区间分数等恰当评分规则评估表格回归模型，覆盖 101 个数据集，并提供基于 git 的排行榜和两种排名协议。对 TabPFN、TabICL、ExaOneTabular、Nori 等表格基础模型、梯度提升树和 MLP 的评估显示，模型排名会随评分规则变化，点估计指标表现好的模型在概率指标上可能排名更低。

  35. arXiv cs.AI41

    LLM 智能体行为是否自洽？面向社会模拟的 Latent Profiling 方法

    研究提出 Latent Profiling 框架，用于检验 LLM 智能体的行为自洽性——其对话行为是否如人类行为模型所预测的那样，由短问卷elicited出的自身潜在画像所决定。在九个开源模型上测试了关于偏好、开放性和一致性的六项假设，结果显示智能体虽能复现表层趋势，却在深度测试中系统性失败：即便个体回答看似像人，它们也并不行为自洽。

  38. arXiv cs.AI60

    Tev：用稠密进度奖励扩展长时程智能体环境

    论文提出 Tev-Gym，首个带可验证稠密渐进奖励的长时程智能体训练数据集，覆盖 7 个领域共 1,170 个已验证任务环境。其构建采用 latent-world-first 方法，先构造任务领域、工作流与每步预期状态的隐藏规格，再逐步渲染为面向智能体的环境，从而获得可控复杂度与天然进度指标。