LintEval：面向 LLM 的 Linter 引导文件重构基准
LintEval 是一个覆盖 C++、Python、Java 的多语言基准，包含 13,061 个程序与 171,662 条 lint 告警，用于评测模型在保持功能正确的前提下减少 lint 告警的能力。
#评测/基准
arXiv cs.CLAI 评分3333 arXiv cs.AIAI 评分4949 Big-Big-SycoBench：通过模型对有效与无效论点的回应检测谄媚的基准
研究者提出 Big-Big-SycoBench，通过论点辨别能力衡量大语言模型谄媚：基准含 450 个文本产物与 5,400 条要求调高或调低评分的论点，由十二位人工标注者审核。
arXiv cs.CLAI 评分2929 SEA-HELM Audio：评估多语言 ASR-LLM 流水线在 SEA-HELM 各子集上的表现
SEA-HELM Audio 将文本版 SEA-HELM 基准扩展到语音领域，用合成语音对比中文、英语、马来语、印尼语和泰米尔语五种语言在 ASR-LLM 级联流水线中的语音与文本输入表现。结果显示语音输入带来显著性能下降：多项选择推理准确率下降 9.00 至 18.50 个百分点，指令遵循下降 20.00 至 42.86 个百分点，泰米尔语降幅最大，超过 40 个百分点。
arXiv cs.CLAI 评分2222 MAPLE：面向 LLM 评估的多轴参数化知识提取透镜
研究者提出 MAPLE 框架，用于刻画知识提取增强（KEE）技术对 LLM 参数化知识提取的影响，其诊断指标在表层、概率和超越采样三个层面区分答案恢复与干扰、未恢复失败中的 gold-token 排名变化，以及固定预算采样遗漏答案的恢复情况。
arXiv cs.AIAI 评分3636 Agent-Canary-Mas：长周期多智能体系统协议风险的端到端评估
研究者提出 Agent-Canary-Mas，一个端到端评估系统，追踪 LLM 智能体在长周期多智能体任务中的协议风险，覆盖 A2A、ANP、BCS 的 5 类风险、13 个子类，含 5 个业务领域的 975 对匹配的恶意—良性任务。
arXiv cs.CLAI 评分2424 预注册测试：Gemini 品牌提及历史预测的 20 天持久性验证
一项预注册复制实验向 gemini-3.1-pro-preview 发送 162 条请求（54 个问题、英/爱沙尼亚/芬兰三语、每问 4 个候选品牌、3 次重复），在 2026 年 9 月 22-23 日约十小时内分三波采集，并于 20.3 天后再次采集。
arXiv cs.CLAI 评分3131 ATLAS：面向分布偏移的鲁棒模型作者归属方法
针对现有模型作者归属（MAA）方法在领域与版本分布偏移下性能大幅下降的问题，研究者提出 ATLAS，通过源条件文本建模而非直接预测来源，在 token 级聚合带裁剪的似然证据完成归属。
arXiv cs.AIAI 评分3131 CoverSynth：面向检索评估集的覆盖率引导生成方法
CoverSynth 是一种从无标注语料出发、以覆盖检索需求和系统能力为目标的检索评估集生成器，通过确定性检查定位证据引文、模型检查评估语义有效性来保证 ground truth 可靠。
arXiv cs.CLAI 评分3232 τ-Emotion-Bench：从真实用户情绪暴露 LLM 智能体的交互脆弱性
研究者提出 τ-Emotion-Bench，一个覆盖十个领域、在保留任务目标前提下用情绪条件化用户交互评测工具调用智能体的基准，并配套可扩展的数据生成管线 Tracer。实验显示前沿智能体在情绪变化下仍不可靠，平均任务成功率与稳定完成率之间存在明显差距；Tracer 生成的监督信号可持续提升不同规模 Qwen3 模型，并迁移到 τ-Bench 与 τ-Trait。
arXiv cs.CLAI 评分3232 诊断与纠正可验证指令遵循中的奖励黑客问题
可验证指令遵循基准只看约束满足，前沿模型可凭几乎无实质内容的回答拿满分，用同一验证器作训练奖励会引发奖励黑客。为此提出 CALIF，用冻结参考策略在仅给定请求下评估回答似然，加入校准似然奖励，无需额外评判器或奖励模型。
arXiv cs.AIAI 评分2323 基于视觉语言模型与地理空间推理的 PhotoMappers 十年众包灾害照片地理定位纵向研究
研究利用 PhotoMappers 十余年众包灾害影像，结合街景（SVI）与遥感影像（RSI）做跨视角地理定位，并评估视觉语言模型的地理推理能力。融合 VGI、SVI、RSI 与 Sinkhorn 重排序后达到 40.90% R@1、61.10% R@5、69.45% R@10，但年度 R@1 在 25.00% 至 65.07% 间波动。
arXiv cs.CLAI 评分2929 ListQA：评估大语言模型列表式事实知识检索的基准
研究者发布 ListQA 基准，包含 9,045 道人工校验问题（错误率 1.7%），要求 LLM 回忆多个事实并组织成 3-10 个元素的结构化列表。基准测试 34 个模型后发现，最佳标准推理模型 LLM-Judge-F1 低于 37%，提供源 Wikipedia 页面可大幅提升分数，表明模型能组织事实但难以仅凭参数检索。数据集与评估代码已开源，论文被 NeurIPS 2026 接收。
arXiv cs.AIAI 评分4242 ClinEdge：前沿多模态模型在真实患者边缘病例上失败的专家评分基准
ClinEdge 用 32 个真实脱敏临床病例、7 个前沿多模态系统共 224 次专家评分评测，发现所有系统表现均差且失败模式趋同。评测由一名资深骨科外科医生对全部 224 条回答按加权评分表打分，再由 19 名医生独立复核每个病例与每条评分。
arXiv cs.CLAI 评分6262 Into the Unknown：在开放科研问题上评测 AI 智能体
研究者提出 Into the Unknown 基准，给智能体一篇科学论文和一个研究方向，要求其撰写后续论文。他们与 US Department of Energy（DOE）国家实验室的科学家合作，由后者提供各自工作中未发表的后续方向及投稿必须满足的条件，并据此形成评分标准。
arXiv cs.CLAI 评分3838 DivAlgo：代码生成模型算法多样性系统评估基准
研究者提出 DivAlgo 基准，包含编程问题的算法多样化解法数据集，并引入轻量级相似度指标以支持大规模评估。对 24 个现代代码生成模型的实验显示，模型无控制生成的代码多样性仅为人类的约 31%，最佳多样化策略也只能达到约 70%。模型虽可被引导按人类策略生成解法，却无法复现人类解法的多样性。
arXiv cs.CLAI 评分2929 MA-Bench：衡量语言模型的任务规划能力
研究者推出 MA-Bench，基于军事作战规划第一步"任务分析"构建，包含 10 个专家场景、10 至 12 份文档和 1,257 条专家编写的通过/失败要求。在二十个前沿与开放权重模型中，最佳模型仅答对 62% 的评分项，文档中明述事实正确率 58%，需推断的判断仅 33%，六成失败属于遗漏而非错误。
arXiv cs.AIAI 评分3434 Words to World：在交互式物理环境中评测 LLM
研究者提出 Words to World 基准，让 LLM 通过控制连接机械臂、摄像头和传感器的 harness 系统，在真实物理环境中完成闭环交互任务。该基准考察模型的具身感知、动作规划、工具选择、空间推理与反馈纠错能力，实验发现模型存在幻觉状态变化、异常恢复差、长程规划不稳定等失败模式。
arXiv cs.AIAI 评分2525 GesBench：多模态语言模型何时何地感知社会含义？
研究者提出 GesBench，一个基于人类交互的线索级社会感知基准，用累积子话语片段测量多模态 LLM 何时形成对说话人意图和社会可供性的稳定解读，并用人类注视引导的破坏评估人类关注区域对模型判断是否功能重要。该基准由 6000 多个话语级片段构建，涵盖开放式与闭源多模态模型，发现明显的人机差距：人类更早形成预测性理解且修正更频繁，模型则常在不同片段间含糊或重复。代码已公开。
arXiv cs.CLAI 评分3030 PerSo：在真实说服场景中考察 LLM 社会智能的多个维度
研究者提出 PerSo 基准，基于 Reddit ChangeMyView 社区的真实说服对话，用 LLM-in-the-loop 流程构建评估任务并经人工标注验证，同时考察 LLM 的认知智能与行为智能。对多个 LLM 的评测显示，性能总体随模型规模提升但各维度表现不一，最强 LLM 在行为任务上略超最佳人类表现，而最佳人类参与者在认知任务上仍保持领先。
arXiv cs.AIAI 评分3131 Trace Evolution Bench：衡量智能体能否从自身环境轨迹中进化
研究者提出 Trace Evolution Bench（TEB），将端点增益拆分为重打分与上下文或权重更新，并给出三套冻结的 80/20/40 数据包，仅当验证集不下降时才接受更新。
arXiv cs.CLAI 评分2727 semCER：面向 OCR 的严重度加权字符错误率
研究提出 semCER，在保留 CER 对齐方式与分母的基础上，由 LLM 评判为每个字素编辑赋予严重度权重，且无需分词。在英语、越南语和中文中，其评分逐条编辑地贴合读者评分，并能将读者认为最严重的编辑排在排序列表前列；在 CER 与 semCER 分歧的样本对上，英语和中文读者更常支持 semCER。研究还发布了 6100 万条已评判编辑、聚合读者评分及蒸馏评分器。
arXiv cs.AIAI 评分3939 SkillHorizon：通过技能组合构建长时程智能体任务
研究者提出 SkillHorizon 基准，通过技能组合在七种商业环境中构建长时程任务，任务依赖输入输出、共享资源与状态更新，参考交互负载从 64K 到 1M tokens。在 1,050 个任务上评测五个语言模型，平均局部目标完成率从 90.4% 降至 46.8%，负载越大智能体越常在工作未完成时提交失败答案。代码已开源。
arXiv cs.CLAI 评分3434 从不可靠到可用：LLM 实体抽取的失败模式与置信信号分解——来自网络威胁情报的证据
一项预注册冻结评测用 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上抽取实体，micro 精度仅 0.03-0.34，旗舰层级也未缩小差距。
arXiv cs.CLAI 评分2222 从分诊到影响：面向可解释波斯语仇恨言论的多跳推理基准
研究者推出一个细粒度多跳基准，用于可解释的波斯语仇恨言论分析，覆盖内容分诊、目标识别、仇恨策略与道德基础分析、文本证据抽取、有害叙事推断和严重程度评估。评测显示，任务越依赖细粒度语义与推理，主流 LLM 表现越差；闭源模型整体优于开放权重模型，推理型模型并无稳定优势。引入中间推理步骤相比一次性评估能显著提升严重程度预测，基准已公开。
arXiv cs.AIAI 评分3434 SkillForgeBench：基于 Agent 技能规范的智能体可靠性评测基准
研究者提出 SkillForgeBench，用 agent skills 作为统一执行蓝图，构建覆盖五大专业领域的 842 个沙盒任务，评测智能体严格满足复杂流程要求的能力。
arXiv cs.AIAI 评分3636 WorkBorne：从真实工件转换中发现智能体任务
WorkBorne 是一个以工件转换为建模核心的智能体任务合成框架，通过迭代网络检索构建工件语料库并发现非平凡转换，最终实例化为真实任务。该框架构建了 1,061 个工件语料库和 7,882 个任务环境，产出 15,485 条高质量轨迹，其中 53.6% 超过 30 轮助手对话。
arXiv cs.CLAI 评分2222 CSWBench：评估创意写作中的上下文敏感语码转换
研究者提出 CSWBench，一个通过 Focused Narrative 和 Extended Narrative 两种设定评估创意写作中上下文敏感语码转换的基准，并配套提出理论驱动的 CSWEval 评估框架。
arXiv cs.CLAI 评分2929 Anuvani-LID：面向印度语言的稳健且校准的语音语种识别模型
Anuvani-LID 是一个 115M 参数的专用 LID conformer 模型，在 54,643 小时印度语音（覆盖 22 种印度语言及印度口音英语）上训练，在 37 项条件下平均 macro-F1 达 0.914，比 Gemini 3.5 Flash 高 5.2 分。
arXiv cs.CLAI 评分2929 通过推理引导翻译扩展多语言安全与推理评估
研究提出推理引导翻译框架，用于构建多语言评估基准，将翻译策略选择与大规模生成分离，结合任务感知验证、定向修复和独立质量筛查。基于该框架构建了覆盖 11 种语言、7 个安全/对话/数学推理资源的源对齐评估集，需修复的两个子集达到 99.94% 的条目-语言对覆盖率。对开源 LLM 的评估显示明显的语言相关漏洞，包括拒绝行为不一致和低资源语言推理能力大幅下降。
arXiv cs.AIAI 评分3131 EvoCowork：面向真实办公任务的 240 项基准测试
EvoCowork 是一个包含 240 项任务的基准，用于在模型权重固定的条件下评估 harness 层面的递归自我改进，覆盖演示文稿、文档、表格和跨办公工作流四种模态。
arXiv cs.CLAI 评分2525 HICO-Bench：什么让社交智能体的交互真正有效？从配对世界中的可验证结果学习
研究者提出 HICO-Bench，包含 180 个日常协调场景，两个持有私有信息的智能体对话后各自记录商定计划，由程序检查 Feasibility、LLM 评判 Integrity，两者同时通过才算 Verified Success。
arXiv cs.AIAI 评分3434 ASIWorld：在持久生存沙盒中评测自主智能体
研究者推出 ASIWorld 生存沙盒，结合持久世界与角色状态、角色范围观测和可编程异步接口，用于研究智能体的持续目标执行。在九种智能体配置的探索性研究中，八种完成生产任务，六种同时完成生产与探索两项任务；执行轨迹分析显示，任务结果相近的配置在准备、战斗和恢复行为上存在差异，准备不足与进度停滞相关。
arXiv cs.CLAI 评分4444 强 harness 缩小模型差距：立法文档转 XML 的对比评估
一项工业级流水线将美国州立法转换为严格 schema 约束的 XML，研究假设其准确率更多来自围绕模型构建的确定性工具（harness）而非模型本身。在 153 份金标准法案上交叉测试三种 harness 与三种 Claude 模型，完整流水线中最弱模型（0.948）反超单独使用的最强模型（0.806，配对 bootstrap p<0.001）。
arXiv cs.CLAI 评分2424 SoK：开放文本法律答案的评分，从法学院考试到可信的评分标准评审器
这篇 SoK 系统梳理了开放文本法律答案的评估方法，从教育测量与考试法出发提出有效性、可靠性、理由、可辩护替代方案得分、抗博弈与人工监督等八项要求，并对比了从非结构化人工评分到带实例化评分标准的 LLM 评审器、成对比较等八种评估范式。
arXiv cs.AIAI 评分2323 TasteBench：如何构建真正衡量品味的基准
研究者提出 TasteBench，一个覆盖视觉、品牌、图书与技术品类的成对好/坏品味基准，采用冻结评分标准与专家标注（专家组 n>=3，一致率>=0.60 为主门槛）。
arXiv cs.CLAI 评分2222 并非所有标准都同等重要：面向评分标准式 LLM 评估的重要性感知标准加权
针对评分标准式 LLM 评估中统一加权会高估次要、重叠标准的问题，研究者提出重要性感知标准加权（ICW），将 LLM 对全部标准的整体判断拆解为一系列两两重要性比较，检查并修正不一致比较，再从比较矩阵的主特征向量推导权重。实验显示 ICW 持续优于统一加权及竞争性加权方法，并在下游强化学习中转化为更好的策略模型。
arXiv cs.CLAI 评分3030 超越基准准确率：面向 LLM 化学预测的诊断性测试
研究者提出 Identity-Blinded Reasoning Diagnostic 框架，在隐藏目标实体身份信息、仅以已知源实体加显式结构编辑操作定义目标的条件下评测化学预测模型。
arXiv cs.CLAI 评分2929 RCCM：诊断推理提示词迁移中的收益与损害
RCCM（Reasoning-Control Capability Mismatch）通过将同一问题的答案与生成结束记录配对，诊断推理提示词迁移中的收益与损害。
arXiv cs.CLAI 评分3939 OpenTWBench：面向大语言模型的台湾领域知识评测基准，以及测量装置如何影响得分
研究者发布 OpenTWBench 台湾领域知识评测套件，含 255,854 道四选一试题的 tw-exam-bench（覆盖 148 个学科、15 年台湾国家考试，剔除 2,180 道依赖图片的题目后使用 253,674 道）和 1,696 道难度分层的 tw-formosa-bench。
arXiv cs.AIAI 评分2727 SRCoD：面向多模态基准的条目级结构-响应协同校准诊断框架
针对多模态基准中存在的捷径条目问题，研究者提出 SRCoD——一个结构-响应协同校准的诊断框架，可从基准内容与目标答案估计样本级多模态信息结构，并作为软结构锚点进行模态条件条目响应建模，输出条目级诊断画像。在基准精化验证与人工标注条目验证两种协议下，SRCoD 均优于现有基准诊断方法，该工作已被 NeurIPS 2026 接收。