arXiv·· 16 天前AI 评分26
关键词匹配基准为何误判小模型工具调用能力:一套低成本诊断阶梯
Keyword Harnesses Fail Open: A Cheap Diagnostic Ladder for Tool-Use Claims in Small Language Models
AI 导读
一项研究记录了西班牙语安全语言模型中的工具调用误判:661.6M 参数模型与 1,109M 模型共享解码器、tokenizer 和特殊 token,在宽松工具调用指标上得分几乎相同(B4:0.660 vs. 0.650),但对训练样本的逐字复现检查能将两者完全区分。作者据此提出一套严格、低成本的关键词匹配诊断阶梯,用于检验小语言模型的工具调用声明。
来源:arXiv · arxiv.org