跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 3 小时前AI 评分38

研究:LLM 评审拖累 AutoML 搜索效果

AI 导读

Amazon 与马萨诸塞大学的论文发现,在 AutoML 搜索循环中加入 LLM 评审收益极小、下行风险更大。在 96 种 pipeline 配置的表格模型搜索中,Llama-3.1-8B 评审在 8 个数据集中的 7 个上低于无评审基线,最多损失 0.245 AUC;理想评审最多仅提升约 0.005 AUC,且危害在 250 种配置、20 轮后大多消退。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-18 03:23· 59 分钟前AI 评分49

AI 导读

Amazon 与马萨诸塞大学论文发现,在搜索循环中加入 LLM 评审收益极小、最多约 0.005 AUC,但下行风险更大。在 96 种 pipeline 配置的表格模型搜索中,Llama-3.1-8B 评审在 8 个数据集中的 7 个上低于无评审基线,最多损失 0.245 AUC;理想评审最多仅提升约 0.005 AUC,且危害在 250 种配置、20 轮后大多消退。

正文 · 原文

Amazon 与马萨诸塞大学的新论文发现,在搜索循环中加入 LLM 评审收益很小,最好情况下约 0.005 AUC,但下行风险大得多。

弱 LLM 评审可能使 AutoML 搜索表现低于纯随机搜索

Agent 系统常加入一个 LLM 评审,读取过往结果并告诉搜索下一步尝试什么。团队会检查它是否有帮助,却很少检查它是否有害。

他们在固定的 96 种 pipeline 配置池上,分别在有评审和无评审的情况下运行相同的表格模型搜索。评审随机出错几乎不造成损失,因为循环会保留最佳结果;但持续指向错误方向的建议会浪费尝试次数。

Llama-3.1-8B 评审在 8 个数据集中的 7 个上得分低于无评审基线,最多损失 0.245 AUC。理想评审最多提升约 0.005 AUC,且在 250 种配置和 20 轮后危害大多消退。

在信任 LLM 评审(即使是大模型)之前,先用相同预算在不含评审的情况下运行,如果它表现更差就弃用。

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news