arXiv·· 13 天前AI 评分31
一项预注册研究：Harness 搜索的收益来自哪里？可见性、基线充分性与评测缺陷
What Does a Harness Repair? A Preregistered Study of Visibility, Baseline Adequacy and Evaluation Defects
AI 导读
一项预注册研究用三个小模型、三个 benchmark、GEPA 搜索臂和六种逐一注入的评测缺陷，报告了全部 47 个主要终点，考察 harness 搜索的涨分来源。在 9 个模型-benchmark 组合中有 5 个，关闭 thinking 的准确率高于受限 thinking 设置。
来源：arXiv · arxiv.org