跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 5 小时前AI 评分55

论文发现低基准分可被精确制造,单看低分难证模型能力

论文:低基准分可被精确制造,难证模型能力

AI 导读

一篇论文发现低基准分可以被精确制造,因此单看低分几乎无法说明模型能力。研究者训练了一个 LoRA 旋钮,把 Qwen 模型拉向更小的 Qwen 模型,其对未见目标分数的误差在 1.9 分以内,而提示词诱导欠佳的偏差达 42 至 47 分。但在多选题上,该旋钮最多 97% 的新增错误集中在同一个字母选项上,这一比例远超其模型池中任何自然模型。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-18 01:23· 56 分钟前AI 评分48

AI 导读

一篇论文发现低基准分可以被精确制造,因此单看低分几乎无法说明模型能力。研究者训练了一个 LoRA“旋钮”,把 Qwen 模型拉向更小的 Qwen 模型,其对未见目标分数的误差在 1.9 分以内,而提示词诱导欠佳的偏差达 42 至 47 分。但在多选题上,该旋钮最多 97% 的新增错误集中在同一个字母选项上,这一比例远超其模型池中任何自然模型。

正文 · 原文

这篇论文发现,低基准分可以被精确制造出来,因此单看低分几乎无法说明模型能做什么。

安全测试常把危险能力探针上的低分解读为令人安心的信号。但低分可能源于模型被刻意压制,所以单凭这个数字几乎证明不了什么。

他们训练了一个 LoRA“旋钮”,把 Qwen 模型拉向更小的 Qwen 模型,然后将其错误与真实小模型的错误进行比较。他们还尝试了提示模型表现不佳、提高温度以及添加权重噪声。

该旋钮对未见目标分数的命中误差在 1.9 分以内,而提示词方法的偏差达 42 至 47 分。但在多选题上,其新增错误最多有 97% 落在同一个字母选项上,这一比例在他们模型池中的任何自然模型都未曾接近。

在把低分解读为低能力之前,先检查模型在哪些题目上失败,以及它的错误答案是如何分布的。

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news