arXiv·· 13 天前AI 评分22
打破平局：面向大语言模型的集群感知路由框架
Breaking the Tie: A Cluster-Aware Routing Framework for Large Language Models
AI 导读
针对多个候选模型都能正确回答同一查询时现有 LLM 路由框架的平局漏洞，研究者提出集群感知路由框架，将模型按集群划分后再做路由决策。现有框架通常把路由简化为标准分类任务，该工作对这一过程进行了形式化。
来源：arXiv · arxiv.org
打破平局：面向大语言模型的集群感知路由框架