无标准答案时如何评估语言模型：陈述偏好经济学的启示
研究者提出用陈述偏好经济学的效度框架评估大语言模型，涵盖内容效度、构念效度、效标效度、信度、激励兼容性与后果性等概念。在一项已发表的水质估值调查（Vossler et al. 2023）中测试六个模型，效度检验以经济理论预测形式呈现：需求曲线应向下倾斜，支付意愿应随商品范围和收入变化。
#评测/基准
arXiv cs.CLAI 评分2727 arXiv cs.AIAI 评分2727 移动 GUI 智能体能否服务所有用户？个性化界面下的跨用户可靠性研究
研究提出 PAIR 流水线与 RePAIR 训练方法，用于评估和提升移动 GUI 智能体在不同用户个性化界面下的可靠性。在六个智能体上，用户条件化 UI 的子目标达成率下降 6.98 至 15.4 个百分点，涉及用户个人内容时差距扩大至 8.77 至 22.0 个百分点。RePAIR 在未见用户上将整体 Task SR 提升 9.42 个百分点。
arXiv cs.CLAI 评分2727 PatchBench：衡量激活修补附带损害的基准
研究者推出 PatchBench，一个由 400 个高置信度越狱失败样本构成的基准，用于衡量 LLM 安全修补的附带损害。其评估协议 PatchBench-Local 为每个有害提示生成有害变体、结构匹配的良性提示和复用有害关键词的良性提示，以区分选择性修复与局部抑制。用该协议加 MMLU 评估四种激活引导方法发现，全局能力几乎不变时局部良性回归却很严重。
arXiv cs.CLAI 评分2222 GAGR-Lab：评估联合空间几何与解析函数推理
GAGR-Lab 是一个通过笛卡尔游戏场景、显式函数语义和 Rust 轨迹执行来测量联合空间几何与解析函数推理能力的框架。对 Llama 3.2 11B Vision Instruct 的有限试点运行了 72 个均衡游戏、432 次尝试，无目标命中；特权解析搜索控制在 300 个生成场景的 600 个方向案例上独立成功。框架区分服务可靠性、符号合规与几何成功，完整难度矩阵与多模型对比结果尚未测试。
arXiv cs.CLAI 评分2626 LiveMACE：在动态市场中过程感知评估 LLM 智能体能力
研究者推出 LiveMACEBench，一个以实时金融市场为自然演化测试床、面向持久 LLM 智能体的过程感知基准，让五个前沿 LLM 在匹配的 Tool Use、Persistent Memory、Rule Following 和 Multi-Agent Collaboration 配置下连续运行。
arXiv cs.CLAI 评分3939 编码智能体基准测试应匹配用户任务流
研究收集了 JetBrains IDE 中 4,782 个真实软件工程师的智能体会话（Production Sessions），发现长会话的任务类型远比 issue 衍生基准任务更广，且用户会在会话中切换任务类型。
arXiv cs.AIAI 评分2929 ST-Bench：面向科研任务的多智能体系统生成空间-时间基准
研究团队推出 ST-Bench，用于检验 LLM 多智能体系统（MAS）在真实科学数据分析中是否优于单智能体。该基准包含 100 个源自水文学、农业和湿地甲烷研究的数据科学任务，扩展为 2,067 条查询并经领域专家验证。在 GPT-5 基座下评测五种 MAS 生成方法，十种配置中九种超过最廉价的单智能体基线，最强配置综合得分接近其三倍，但推理时间约为四倍；增益主要来自覆盖率而非指标质量。
arXiv cs.AIAI 评分2525 VisualNoiseQA：LLM 如何在噪声证据下推理？一个主动视觉推理基准
研究者提出 VisualNoiseQA，一个面向噪声视觉反馈下主动推理的基准：纯文本 LLM 需通过迭代查询一个固定的现成 VLM（视为随机视觉传感器）来解答 VQA 问题，每次查询采样多次并以自一致性暴露经验不确定性信号，供推理器决定下一步问什么、何时停止。
arXiv cs.CLAI 评分2424 TopoGraphRAG-Bench：评估多模态 GraphRAG 的布局证据推理基准
研究者发布 TopoGraphRAG-Bench，一个面向多模态 GraphRAG 的布局证据推理基准，包含 201 篇长文档上的 2,024 道问题，覆盖单跳检索、桥接链推理和多源综合三种拓扑结构。
arXiv cs.AIAI 评分2222 EIO-Agents：AI 智能体评估缺失的语义层
EIO-Agents 是一个面向可互操作 AI 智能体评估的开放规范，由语义层 EIO 与记录系统 PER 两层构成。EIO 通过类型化证据、带版本的行为谓词、证据契约、声明、见证规则、证明状态与可计算推导，支撑指标、发现、控制及 PASS、REVIEW、BLOCK 决策；PER 则以内容寻址方式保存单次评估的证据到决策链，支持重新推导、解释与验证。
arXiv cs.CLAI 评分2727 MemoryAgentBench 冲突消解分数被误读？用冻结的最后写入解析器重新审视
研究将 MemoryAgentBench 冲突消解分项按"选择性遗忘"解读，用"最新陈述获胜"规则作为零学习解析器冻结在四份事实列表之一上，官方指标下答对 80.25%（三份留出列表为 74.5%）。
arXiv cs.AIAI 评分2727 VLMs 的抽象推理如何实现？RMTS 范式揭示两条竞争回路
研究采用心理学 Relational Match-to-Sample（RMTS）范式结合机制分析，在 GPT、Claude、Gemini 及 Qwen3.5、Gemma-4、InternVL3 上发现能力层级、模型规模、场景物体数量和逐物体刺激噪声四项因素共同推动 VLM 呈现类人类"关系转换"轨迹。
arXiv cs.AIAI 评分3737 BioStudyBench：评估 AI 智能体完成知识截止后生物医学研究的能力
研究者推出 BioStudyBench，包含 25 个长周期分析任务，均取自 2026 年 7 至 9 月发表、晚于被测模型知识截止时间的生物医学研究，由 404,019 条 PubMed 记录半自动筛选而来。
arXiv cs.AIAI 评分2323 LOGIC：面向航空航天电气系统意图驱动变更影响的 LLM 基准
研究者提出 LOGIC，一个面向航空航天电气设计的受控基准与评估框架，让本地可部署语言模型先在确定性候选变更清单上完成意图筛选，再通过类型化电气追溯图传播变更，从而区分候选选择错误与下游传播错误。
arXiv cs.CLAI 评分3030 Route-Verify-Vote：面向混合域推理的过程条件自一致性框架
针对 SCoRE 2026 三项训练中未出现的混合域任务，研究者提出 Route-Verify-Vote（RVV）框架，无需更新参数即可让语言模型按域标签选择推理过程、逐项验证并聚合完整答案集。官方测试集上，每题采样 16 个答案集投票的精确集合准确率为 74.6%，自适应 RVV 达 77.3%，在选定域路由上组合多模型后升至 79.4%，最终系统在参赛系统中排名第二。
arXiv cs.CLAI 评分2727 PHRBench：LLM 幻觉后推理的行为评估基准
研究者提出 PHRBench，一个覆盖四个领域、18 个 LLM 的受控基准，用幻觉遵从、幻觉规避和启发式纠正三类行为刻画模型在幻觉前提下的推理轨迹。在 4820 个受控实例中，成功纠正并得出正确答案的情况相对罕见，且与推理过程中更频繁的信念更新相关。幻觉提示词本身的属性对成功恢复有显著预测力，轻量预测器 AUROC 达 0.847。
arXiv cs.AIAI 评分3030 LLM 广告相关性判断中的偏见系统性研究
一项系统性研究考察了 LLM 广告相关性判断中的公平性问题，以 GPT-4o 作为分类相关性评判者、Qwen-7B 作为专门训练的相关性预测模型，采用反事实框架分析广告主身份、流行度、输入语言和人口统计措辞的影响。
arXiv cs.CLAI 评分2222 研究：人类、专用工具与 LLM 在社交媒体情感分析上难以达成一致
一项研究用 100 条推文对比 TextBlob、VADER、Twitter-roBERTa-base 与 Qwen3-32B、GPT-OSS-120B、Llama-4-Maverick-17B 及六名人类标注者的情感判断一致性。
arXiv cs.AIAI 评分2424 2D-FET-Bench V2：从空间推理到二维薄片 FET 版图设计
2D-FET-Bench V2 是一个包含 128 个版图任务的基准，用于测试语言模型智能体能否根据显微图像提取的薄片轮廓完成 FET 版图构建，任务提供文本器件规格与轮廓坐标，智能体生成可渲染为 GDSII 的多边形与路径操作。
arXiv cs.AIAI 评分2727 评估 LLM 路由的升级信号：目标、对照与五种自欺方式
研究测试了语义熵作为 LLM 路由升级信号的可靠性，在 GSM8K 上以约 12 倍规模差的小/大模型组合实现 AUROC 0.871，匹配成本下路由准确率比随机升级最高提升 9 个百分点。
arXiv cs.AIAI 评分3838 为 AI 智能体评测加上信任层：arXiv 论文提出 Agent Evaluation Trust Layer
研究者提出面向 AI 智能体评测的 Trust Layer，在记录分数旁标注该结果是否可信，核查四项属性：结果是否由基准自身评分逻辑支持、通过答案是否来自可追溯计算、完成声明是否与实际相符、重复执行下是否稳定。
arXiv cs.AIAI 评分4141 并行编码智能体的协调验证：NP-Bench 与调度规划器
研究团队提出将并行 LLM 编码智能体的协调问题重构为调度问题，通过预先划分工作项声明的范围并沿生产者→消费者图排序合并，在 Nerveplane 中实现该规划器。
arXiv cs.CLAI 评分2727 InsClaimBench：面向保险理赔裁决全决策链的基准测试
InsClaimBench 是覆盖汽车、财产和健康保险理赔裁决全决策链的端到端基准，包含 375 个案件族共 3,780 个案件、86,656 条原子规则判断。
arXiv cs.CLAI 评分2828 RELATE：衡量大语言模型关系导向的评估框架
研究者提出 RELATE，一个基于人格设定的评估框架，用于在句子层面测量多轮对话中大语言模型的"关系导向"——即模型将用户引向自身持续支持（内向型）还是鼓励现实人际连接（外向脚手架型）。
arXiv cs.CLAI 评分2222 LLM 跨州政策召回中的跨辖区替换现象测量
研究用固定问法、仅改变辖区的设计，测试 Claude Sonnet 5.5 和 GPT-5.6 Sol 在 51 个美国辖区、3 项 Medicaid 收入资格数值上的表现，两者分别有 10 和 25 个（共 153 项）可复现地给出其他州的当前值。
arXiv cs.CLAI 评分2323 ArcticQA：面向 LLM 北极科学弃答的数据集与基准
研究者发布 ArcticQA 数据集与 ArcticAbstain 基准，用于评估 LLM 在北极科学选择题中的弃答能力。ArcticQA 含 194 道源自北极一手研究的问题，并自动核查答案支持与干扰项矛盾；ArcticAbstain 对比答案存在与缺失两种条件。
arXiv cs.MAAI 评分3131 TradeLens：LLM 智能体交易系统能否为自己的智能买单？
研究者提出 TradeLens，一个基于交易记录、运行时轨迹和部署配置的诊断工具，用于评估 LLM 智能体交易系统能否将智能成本转化为增量利润。跨模型、资金规模、交易频率和系统架构的分析显示，可行性取决于"智能到利润"的转化：DeepSeek-V3.2 表现为资产选择不佳，GLM-4.7 表现为择时负收益。该工作已被 EMNLP 2026 Findings 接收。
Hacker NewsAI 评分3434 LLM 分析基准测试：如何为分析智能体挑选最佳模型
Cassis 用 30 道 Formula 1 题（基于 Spider 2.0 数据库）加 60 道业务题对比八款 LLM，衡量答案质量、推理开销与成本。业务题上 Sonnet 5.5 以 75% 正确率、每题 $0.12 居首，Fable 5.1 仅 53% 却要 $0.57，因此 Cassis 将默认模型切换为 Sonnet 5.5。
GitHubAI 评分2222 koltregaskes/ai-resource-hub：AI 资源中心参考站
koltregaskes/ai-resource-hub 是一个面向现代 AI 工具与模型的公共参考站，汇集基准测试结果、定价、模型规格、速度数据、新闻、指南、术语表和对比页面。
RadarAIAI 评分5757 Step 5 Preview 在 StepFun 八项基准中六项胜过 Kimi K3 与 GLM-5.3
OpenRouter 转述 StepFun 的 8 项基准评测结果，Step 5 Preview 在其中 6 项上击败 Kimi K3 和 GLM-5.3。具体成绩包括 DeepSWE 67.7、ProgramBench 80.5、StepCodeBench 49.0 和 FrontierFinance 66.4。
GitHubAI 评分3636 aicharts：把 AI 基准分数与每任务成本、token 消耗画在同一张图上
aicharts 将已发布的 AI 基准分数与每任务成本和 token 消耗绘制在同一张图上，并标出每个预算下的最佳分数。其本地采集器可测量你自己智能体的 token 使用量，目前仍在开发中，Linux x86-64 与 Apple silicon Mac 构建版已上架 GitHub Releases，Mac 版已签名并公证。
Hacker NewsAI 评分2828 SpacetimeDB 的 AI 智能体体验审计：Claude Opus 5.5 能建好应用却不推荐它
对 Clockwork Labs 的 SpacetimeDB 做智能体体验（AX）审计，用 Claude Opus 5.5 在 Claude Code 2.1.285 测试。
Hacker NewsAI 评分6262 DaiDocs 发布 5.1.1：.dai 文档记忆与 .cai 代码图谱合并
Kerneta 发布开源记忆系统 DaiDocs 5.1.1，用纯文本 .dai 存文档与会话历史、.cai 存代码调用图谱，两者通过 ask 路由合并回答。
RadarAIAI 评分2222 Vidu Q4 Preview 视频模型实测简评
作者快速试用了新发布的 Vidu Q4 Preview 视频生成模型，认为其表现略逊于 Seedance 2.0，但整体质量尚可满足基本需求。这是一条基于即时体验的微型评测，提供了初步的质量参考。
Simon WillisonAI 评分6666 Mistral 发布 Mistral Large 4 预览版 Le chonk
Mistral 发布 Mistral Large 4 预览版，这是一个 1 万亿参数、49B 激活参数的模型，在自有的 3800 块 NVIDIA Grace Blackwell GPU 集群上训练，目前通过其 API 提供。
Hacker NewsAI 评分6262 LLM 评测在 CI 中有多嘈杂？
作者统计了公开仓库 GitHub Actions 默认分支上连续两次运行的评测结果，发现通过的评测在下一次运行中失败的比例约为 2.5%，五个仓库合计 2690 条评测中有 68 条出现这种情况。
RadarAIAI 评分6262 Evolvent AI 开源 RSIGym，Claude Opus 5 将 Qwen 模型 SWE-bench Verified 成绩提升近三倍
Evolvent AI 发布开源研究环境 RSIGym，让 AI 智能体在统一预算环境内重训练模型并改写 harness。Claude Opus 5 作为自动化 AI 研究员，把一款 Qwen 模型的 SWE-bench Verified 成绩提升近三倍。
RadarAIAI 评分7575 Anthropic 发布 Claude Haiku 5.5，运行成本比 Haiku 4.5 低约 75%
Anthropic 发布 Claude Haiku 5.5，官方称这是其推出的最便宜、最快、能力最强的小模型，运行成本平均比 Claude Haiku 4.5 低约 75%。转述者称其 benchmark 全面领先 GPT-6 Luna，OpenRouter 观测的 token 输出速度约为 2 倍，并观察到不少用户正从 CodeX 迁移到 Claude Code。
量子位AI 评分5555 UniPat AI 发布 PaperBenchX：GPT-6 Astra 论文完整复现率仅 13.98%
UniPat AI 发布 PaperBenchX，从 93 篇论文构建 93 个端到端复现任务，横跨电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。
GitHubAI 评分2222 kwinkunks/ai-values：用 Inglehart–Welzel 文化地图可视化 LLM 价值观
开源项目 kwinkunks/ai-values 用 Inglehart–Welzel 文化地图展示 LLM 的价值观定位，基于 WVS 和 EVS 的 10 道问题作答，横轴为生存 vs 自我表达，纵轴为传统 vs 世俗。