LLM 泛化能力多轴评估：泛化是稳定性而非准确率

一项研究提出从单个样本层面、跨多种输入变体和多个模型行为维度评估 LLM 泛化能力，认为泛化应体现为同一输入不同表达下输出的语义稳定性，而非单一提示格式、任务或变体集合上的聚合准确率。该研究指出，以往用聚合准确率衡量泛化的做法混淆了鲁棒性与整体 benchmark 表现，因此评估重点应放在输出变异性而非单一分数上。