CodeWalk：通过遍历问题图生成编程基准
CodeWalk 提出将已验证的原子编程问题组合成 level-N 任务来生成编程基准，整个构建过程程序化，无需语言模型生成或验证。
#评测/基准
arXiv cs.AIAI 评分3434 arXiv cs.AIAI 评分2727 北还是南？诊断 LLM 对朝鲜语言、社会与知识的理解
研究团队发布 LENS 基准，用 1,765 道人工校验题目从语言鲁棒性、社会文化视角对齐和领域知识三个维度评测 LLM 对朝鲜的理解。评测显示，模型在朝鲜语输入上性能小幅下降，社会文化视角对齐差距更大，领域知识则严重不足。定性分析发现模型常混淆正式制度与现实生活、套用自由民主假设或依赖刻板印象。
arXiv cs.AIAI 评分3636 PANINI-DR：通过生成式语义工作空间实现可控深度研究
PANINI-DR 是一个多智能体深度研究框架，将整体调查协调与子问题研究、验证分离，基于 Generative Semantic Workspace 构建共享工作空间记录子问题、依赖关系、发现与证据。
arXiv cs.AIAI 评分3636 UDHRBench：面向大语言模型人权合规的基准测试
研究者推出 UDHRBench，用于评估大语言模型对《世界人权宣言》的合规性，数据集含覆盖全部 30 条条款的 1,124 个人权问题，以及 ChatGPT、Grok、Gemini、Fanar 四个模型的 4,496 条回答，由专家人工标注（κ = 0.801）。
arXiv cs.AIAI 评分4949 人类 vs. 机器：AI 智能体在软件逆向工程中的对比研究
研究对比人类分析师与 LLM 智能体的软件逆向工程能力，GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3 在两项静态分析任务上达到与人类统计上相当的理解水平，较弱模型则差距明显。
arXiv cs.AIAI 评分6060 Last Secure Code Benchmark：vibe coding 生成的代码安全吗
研究者提出 Last Secure Code Benchmark，用 150 个真实漏洞构建 450 个任务，覆盖 Java、C、C++、JavaScript。
arXiv cs.AIAI 评分2222 基于 LLM 的动态商品广告用户-商品相关性评估
研究提出一种面向动态商品广告（DPA）检索系统的离线评估指标，通过 Semantic-ID 分组、事件分层切分将用户互动历史压缩为意图代表，再用 LLM 作为语义相关性评判者，对推荐商品逐意图打分并聚合为用户级相关性分数。
arXiv cs.AIAI 评分2929 什么才算同一个任务？面向工具型智能体鲁棒性评估的可执行任务契约
针对工具型智能体鲁棒性测试中"改动后的用例是否仍属同一任务"判定薄弱的问题，研究者提出可执行任务契约，在智能体运行前声明任务定义事实、允许的编辑和完成标准并逐例校验。
arXiv cs.AIAI 评分3131 LEST：基于规范驱动测试的大语言模型安全评估框架
研究者提出 LEST 框架，将模型卡与系统卡中的安全声明视为规范，对 LLM 进行黑盒测试。在 Claude Opus 4.8 和 GPT-5.5 的系统卡上，56 条安全声明中仅 29 条（51.8%）可被提示词测试，其中只有 17 条（58.6%）有对应基准提示词覆盖。
arXiv cs.AIAI 评分3737 Cortex：面向编码智能体技能与规则的测量门控演化与剪枝
Cortex 是一款对编码智能体 harness（项目文件、技能与规则）的改动先测试再采纳的工具：把开发者会话中的修正保存为可重放任务，逐条写入技能或规则，仅在重复运行显示净收益且无任务明显变差时保留，删除前同样测试，且不增删智能体从未使用的文本。
arXiv cs.AIAI 评分2222 LMM 能否"看懂"多面板科学图表？一个面向大语言模型图表分析的多面板视觉问答数据集
研究者构建了一个面向 LLM/LMM 图表分析的多面板视觉问答数据集，用合成但逼真的单面板与多面板科学图表，按四级描述模型设计从概念问答到解释性分析的 VQA 任务。测试发现，随着面板数量、图表元素数量和问题难度增加，LMM 准确率下降；分析还引入成本相对性能作为指标。问答对、随机图表生成代码及图表元素 bounding-box 元数据均已公开。
arXiv cs.AIAI 评分2424 我们能否信任这项评估？LLM-as-a-Judge 的实例级可靠性
研究提出 SCUR（Structured Cross-fitted Uncertainty Risk），一种无需标签、基于评审面板行为估计实例级评估可靠性的方法。
arXiv cs.AIAI 评分3838 ARBITER：用可验证反馈做智能体代码评判
针对竞赛编程中官方评测不提供失败解释的问题，研究者构建了 USACO-JUDGE 基准，并训练出 35B MoE 智能体验证器 ARBITER，仅凭题面与源码即可评判并诊断候选程序，用生成的反例作为可验证证据。
arXiv cs.AIAI 评分2424 Compare to Correct：面向 LLM 测试时扩展的成对引导 Logit 调整
研究者提出 Pairwise-Guided Logit Adjustment（PGLA）框架，受社会选择理论中 Condorcet 原则启发，通过比较支持不同答案的推理路径之间的成对置信度，捕捉答案层面的比较优势，并将其与投票支持结合进一个 KL 正则化目标。
arXiv cs.AIAI 评分4444 LLM 智能体为何在技能库扩大时无法加载相关技能：隐式路由的失效
研究发现 LLM 智能体的技能路由崩溃：在 SkillsBench 任务和黄金技能固定不变的情况下加入无关技能，加载技能召回率从 73.6% 降至 27.4%，零加载率从 9.3% 升至 51.6%，而显式预选仍保持 73.9% 召回率。仅遮蔽无关技能的描述可基本恢复技能加载，表明存在描述层面的语义干扰与技能选择同任务执行之间的指令干扰。
arXiv cs.AIAI 评分3232 工具调用参数校验中的推导鸿沟：LLM 评审器为何依赖参考文本
研究发现，LLM 工具调用评审器在输入中缺少参考文本时，会降低对正确参数值的接受率，这一现象被称为“推导鸿沟”，在包括 CLM 和 Jev 在内的全部七款评审器上均出现。
arXiv cs.AIAI 评分3838 Autonomous Science Bench：评估 AI 智能体的自主科学发现能力
研究团队推出 Autonomous Science Bench，包含六个基于已发表实验的预算受限 design-build-test-learn 任务，覆盖生物学、化学和材料科学。
arXiv cs.AIAI 评分2222 如何为策略性智能体交互选择 LLM
研究者将策略性模型选择定义为叠加在基础博弈之上的元博弈，由选择器每轮从模型池中派出一个 LLM 应对在线学习的潜在收益矩阵。在 5 个游戏和 10 个 LLM 上的评估显示，模型策略能力随游戏设置和对手不同而显著变化，且提取可靠信号所需的种子运行数 N 远高于传统基准。
arXiv cs.AIAI 评分2424 输出纪律决定下限：一种模型无关、可证伪的智能体协议，用于可审计的假设驱动决策
在 TCMEval-SDT 中医辨证基准（200 例）上，约束大语言模型可审计决策的是输出纪律与推理结构而非模型能力：两年模型扩展仅让零样本分数变动 -0.03 至 +0.08。
arXiv cs.AIAI 评分3535 LifeSearch：面向真实生活与生产力的深度研究智能体基准测试
研究团队推出 LifeSearch 基准，包含 203 个中英文任务，覆盖 7 个真实生活与生产力领域，并基于超 4500 小时人工标注构建了 4000 多条细粒度评分标准。
arXiv cs.AIAI 评分3838 AM-Bench：跨模型与执行框架理解任务欠规范下的智能体表现
研究者发布 AM-Bench，基于 Terminal-Bench 2.0 和 Harness-Bench 改编的 48 个任务，每个任务含一个完整规范参考和六个变体，覆盖目标、上下文与约束的模糊或缺失。
arXiv cs.AIAI 评分3434 ResearchFlow-Eval：追踪端到端多主张自动科研中的执行鸿沟
研究者提出 ResearchFlow-Eval，一个在阶段与主张两个层面评估连续科学执行与迭代的细粒度框架，每项评估以已发表锚点论文为基础生成阶段专属评分标准。对通用智能体框架、技能增强框架及研究专用编排系统的评测显示，实验执行一致落后于设计与规划，重复尝试很少带来可测量的改进，技能增强与研究专用编排均未可靠提升得分。
arXiv cs.AIAI 评分3131 面向搜索智能体跨源证据锚定的奖励模型基准与训练
研究者提出跨源证据锚定（CSEG）评估框架，用六层决策树覆盖完整搜索轨迹，并构建 CSEG-Bench 与可训练奖励模型。团队基于真实检索文档池重写答案，构建覆盖九条规范路径的 1,160 条已验证轨迹，训练出的 CSEG-RM 在基准上达到 83.9% 精确准确率。仅用该奖励监督冻结检索的答案策略，可将独立评判的平均标签从 2.83 提升至 4.19。
arXiv cs.AIAI 评分3131 面向边缘智能体：LLM 智能体执行中边缘-云协作的系统性分析
研究者提出 EC2-Bench，一个面向长程 LLM 智能体执行的边缘-云协作基准，包含可执行的数字工作空间任务，并统一评估任务性能、资源占用与隐私暴露。实验发现，协作执行在性能、资源与隐私间取得较好平衡；边缘模型越强，协作表现越接近纯云端，且策略间性能差距缩小，但隐私暴露仍高度依赖策略。边缘能力增强后，首选协作方式从云端外部控制转向边缘主导。
arXiv cs.AIAI 评分4141 单智能体长期记忆中的 Memory Echo：生命周期评估与来源引导缓解
研究提出 Memory Echo 概念，指同一来源的历史信息在无独立证据下获得的额外检索曝光，并构建 MEchoBench 评估其产生、抗纠正、持续性与对答案的影响。
arXiv cs.AIAI 评分4949 指令是证据而非目标：衡量 AI 智能体的结果对齐能力
研究者提出"结果对齐"概念，要求 AI 智能体将用户指令视为证据而非目标，从指令与环境中推断真实需求。基于 SWE-chat 的 100 条用户-智能体轨迹分析显示，56% 的初始指令遗漏了后续才显现的必要需求，52% 的有用后续需求本可从项目中推断。
arXiv cs.AIAI 评分2929 DuplexAct：前沿全双工语音语言模型的交互能力如何评估？
DuplexAct 是评估端到端全双工语音语言模型（FD-SLM）交互动作能力的基准，定义了涵盖 8 种交互动作、24 种交互条件的三级动作分类体系，并通过即时执行与后续跟进两个维度衡量动作是否成功。该基准包含 4,691 个测试实例，覆盖闲聊、会议、客服和访谈场景，其中 2,531 个来自真实对话录音。
arXiv cs.AIAI 评分3838 STOU：第一视角多模态助手安全评测基准，区分伤害对象而非只看拒答率
研究者提出 STOU 基准，包含 2,902 条第一视角视频-音频与视频-文本查询，按潜在伤害对象分为用户自身（Self）、同场他人（The Others）与社会整体（Others）。该评测将安全理解与拒答行为解耦，除拒答外还考察模型是否识别用户意图、伤害的存在与对象及其后果。在 10 个开源与闭源全模态及多模态 LLM 上，拒答率随伤害对象系统性变化，且模型常识别出风险仍继续提供帮助。
arXiv cs.AIAI 评分4141 Sauron：证据优先的智能体验证器
针对长周期智能体任务中基于评分标准的评估易忽略环境状态与执行轨迹证据的问题，研究者提出证据优先的验证器 Sauron，它独立核验每项声明后才采信，并为每个判定附带可审计的证据凭证。
arXiv cs.AIAI 评分5252 Cowork-Gym：大规模合成交互式工作环境
Cowork-Gym 是一个通过 build-execute-revise 循环合成 Cowork 环境的框架，利用执行证据和评审反馈验证并修复生成的环境，并用有状态用户模拟器通过对话和直接编辑共享工作区来响应智能体动作。
arXiv cs.AIAI 评分2929 RoTA-Bench：通过交互式投影对齐评估 3D 空间推理
研究者推出 RoTA-Bench，通过交互式 3D 到 2D 投影对齐评估视觉语言模型的 3D 空间推理能力，包含 674 个任务及 100 个分层测试任务。GPT-5.6-Sol 仅完成 17% 的任务，而 20 名本科生参与者以 100% 成功率集体完成测试集四次。在相同状态下，模型比人类更常出现轮廓重叠改善但姿态对齐变差的情况（19.4% vs. 10.9%）。
arXiv cs.AIAI 评分3030 可执行前缀价值：定位 LLM 智能体失败步骤的新方法
研究提出用可执行前缀价值 V(h_t) 定位 LLM 智能体失败点，在 150 个 SWE-bench Verified 任务上为 47 和 60 条失败轨迹构建成功概率曲线并标定不可逆点（PNR）。
arXiv cs.AIAI 评分3131 超越成功对弈：诊断大语言模型中的对手建模能力
研究者提出一个针对重复捉迷藏博弈的基准与诊断框架，用具有明确递归信念更新的算法对手，通过实时交互、固定历史评估和受控信息干预区分自适应对弈、动作预测与信念追踪。在 Qwen2.5-7B-Instruct 上，告知对手类型与参数设置可提升预测，但需从历史推断对手时准确率下降；GPT-5.4 同样受益于正确对手信念，而显式信念报告与自生成记忆未能稳定改善预测。
arXiv cs.CLAI 评分2222 谁在决定 Judge Hacking 的速度？评委能力与策略-评委差距之争
研究在 GRPO 下用 GSM8K 训练 0.5B 和 1.5B Qwen2.5 策略对抗四个不小于自身的 LLM 评委，发现 judge hacking 的深度与评委 AUC 相关（12 个单元上 Spearman -0.69），同族中更大的评委被欺骗得更浅。
arXiv cs.AIAI 评分3131 PhysCodeGym：面向物理可验证 4D 重建的编程智能体基准
研究者推出 PhysCodeGym，一个面向物理可验证 4D 重建的编程智能体基准，包含 156 项任务，覆盖刚体、液体、可变形体和风驱动运动。智能体需自主查看视频、编写并运行 Blender 程序，并借助仿真反馈修正场景，评估由 6 项指标结合规则测量与评分判断构成。
arXiv cs.CLAI 评分3030 RealityBench：用模拟环境评测视觉语言模型记录人类体力工作的能力
研究者提出 RealityBench，用 Blender 构建覆盖 11 种环境的模拟场景，评测视觉语言模型记录屋顶光伏安装、车辆维修等体力工作的能力，分为图像可接受性与文档记录两类任务。
arXiv cs.AIAI 评分2727 受控置信度分数能否判断 Text-to-SQL 答案正确？基于 BIRD 与 Spider 的探索性研究
一项研究审计了生产级对话分析系统中置信度分数的设计，该系统用 GPT-5.1 在 BIRD dev 的 1,534 道题上作答，每題采样五次，发现设计分数区分对错的 AUROC 仅 0.624，并会扣留 35.7% 的正确答案。
arXiv cs.AIAI 评分3737 IsoVRBench：无需人类反馈的视频奖励建模基准
研究者提出 IsoVRBench，一个通过受控干预生成 8,000 对偏好样本的视频奖励建模基准，覆盖八种干预方式，无需人工标注。当前最强奖励模型在帧序重排任务上仅达 60.8%，而人类为 100%，且现有基准排名无法预测这一失败。
arXiv cs.CLAI 评分1919 Dice Roll Method：LLM 品牌推荐重复查询审计的标准化协议
研究者提出 Dice Roll Method，一套面向 LLM 品牌推荐重复查询审计的标准化协议，基于温度缩放 nucleus 采样的生成模型，将总响应方差分解为采样、提示词措辞、运行间和模型版本四类成分。
arXiv cs.AIAI 评分2929 格式即筛选器：评分格式决定 LLM 评判器能表达什么
研究固定候选池、评判提示词与选择预算，用三种 LLM 评判器以五种评分格式对 15,406 条 UltraFeedback 候选数据打分，微调 66 个模型并用四种评判器评估。0–100 分制实际只用到 7–12 个等距档位，仅为 1–5 分制的两到三倍；二值判定在 77–78% 的提示词中最高分并列，导致多数选择实为随机。基于评判器的数据筛选流程应报告四项指标。