跳到正文
arXiv·· 16 天前AI 评分26

关键词匹配基准为何误判小模型工具调用能力:一套低成本诊断阶梯

Keyword Harnesses Fail Open: A Cheap Diagnostic Ladder for Tool-Use Claims in Small Language Models

AI 导读

一项研究记录了西班牙语安全语言模型中的工具调用误判:661.6M 参数模型与 1,109M 模型共享解码器、tokenizer 和特殊 token,在宽松工具调用指标上得分几乎相同(B4:0.660 vs. 0.650),但对训练样本的逐字复现检查能将两者完全区分。作者据此提出一套严格、低成本的关键词匹配诊断阶梯,用于检验小语言模型的工具调用声明。

来源:arXiv · arxiv.org