arXiv cs.AI· Sumit P. Ahuja·· 10 小时前AI 评分31
分层 LLM 推理的置信度门控可行性条件
A Feasibility Condition for Confidence-Gated Tiered LLM Inference
AI 导读
论文给出一个闭式条件，用于判断置信度信号上的任何阈值能否让分层级联推理优于把所有查询都发给后备模型。作者将路由决策建模为二元检验，并用架构成本比 κ 区分本地与升级成本，得到由无信号下界与完美信号上界夹出的可行区间。沿 κ 轴该条件会反转：本地算力计费时成本起约束作用，算力已沉没的去中心化硬件上可行性变为无条件，信号质量转而决定级联能达到的效果。
正文 · AI 翻译
摘要：分层推理将大语言模型的计算分布到从设备端、边缘硬件到数据中心的设备层级上，并日益被视为实现更廉价、更低延迟、更私密服务的途径。大多数此类系统编排的是冻结的模型检查点，且大多数系统使用由前向部署模型产生的置信度信号来决定哪些查询在本地解决、哪些向上升级。我们给出了一个闭式条件，说明在何种情况下，对该信号的任何阈值都无法使分层级联相对于将每个查询都发送到后备端更划算。我们将路由决策建模为二元检验，并通过架构成本比 $\kappa$ 将本地成本与升级成本分离，推导出一个可行性条件，其下界为无信号下限（低于该下限时，无论信号质量如何，级联都是可行的），上界为完美信号上限（高于该上限时，任何级联都不可行）。沿 $\kappa$ 轴解读时，该条件发生反转：在本地计算需要计费的情况下，成本起约束作用，这与近期的一项实证发现相符；在本地计算为沉没成本的情况下（即去中心化硬件上），可行性变为无条件的，而信号质量转而决定级联所能达到的效果。我们将该条件转化为三项设计要求，而现有的训练内置原语只能孤立地满足这些要求；作为未来工作，我们提出一种协同设计的架构以及用于检验它的协议。该条件及其反转结论独立于该架构成立；它们正是本文的贡献。
| 评论： | 21 页，2 幅图 |
| 主题： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；性能（cs.PF） |
| 引用为： | arXiv:2611.05394 [cs.AI] |
| （或 arXiv:2611.05394v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05394 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sumit Ahuja [查看电子邮件]
[v1]
2026 年 9 月 15 日星期二 00:38:01 UTC（232 KB）
来源：arXiv cs.AI · arxiv.org