arXiv·· 12 天前AI 评分32
评估 LLM 路由的升级信号:目标、控制与五种自欺方式
Evaluating Escalation Signals for LLM Routing: Targets, Controls, and Five Ways to Fool Yourself
AI 导读
研究测试了语义熵作为 LLM 路由升级信号的可靠性,在三个基准和两个模型家族上进行评估。在 GSM8K 上,当小/大模型规模相差约 12 倍时,语义熵能可靠区分小模型的错误(AUROC…)。
来源:arXiv · arxiv.org