arXiv cs.AI· Vasileios Saketos, William Reveillard, Alexandre Proutiere, Sebastian Dalleiger, Ming Xiao·· 3 天前AI 评分24
该延迟还是不该延迟？LLM 与拥塞专家协作的在线学习
To Defer or Not to Defer? Online Learning with LLMs and Congested Experts
AI 导读
针对 LLM 与容量受限人类专家协作的场景，研究者提出在线学习算法 KL-PBD，利用未知可靠性参数的 KL 下置信界指导延迟决策，在 K 个置信水平与时间跨度 T 下实现 O(K log T) 的间隔相关遗憾和 Õ(√KT) 最坏情况遗憾，并证明其最优性。该算法在 GSM8K、NuminaMath、MedMCQA 数据集上使用 Qwen LLM 完成验证。
正文 · AI 翻译
摘要：现代 AI 系统越来越多地将大语言模型（LLM）与人类专家相结合，利用 LLM 处理常规查询，同时将不确定的案例转交专家审核。然而，当专家容量有限时，转交决策不仅要考虑 LLM 的可靠性，还要考虑专家队列中的拥塞情况。我们将其形式化为一个在线序贯决策问题：对于每个查询，系统观察 LLM 答案的置信度信号，并必须决定是输出该答案还是将查询转交给容量受限的专家。置信度信号的可靠性最初未知，必须从专家反馈中学习，而专家反馈既是被选择性观察到的（只有被转交的查询才会被标注），又因排队而延迟。我们提出 \texttt{KL-PBD}，一种学习算法，利用未知可靠性参数上的 Kullback--Leibler 下置信界来指导转交决策。对于 $K$ 个置信水平和时间范围 $T$，当每个置信水平上的准确率都与转交边界保持一定距离时，\texttt{KL-PBD} 实现 $O(K\log T)$ 的间隙相关遗憾，以及 $\widetilde{O}(\sqrt{KT})$ 的最坏情况遗憾。我们建立了相匹配的下界，表明这些速率在对数因子范围内是最优的。最后，我们在合成实例和真实世界问答数据集（即 GSM8K、NuminaMath 和 MedMCQA）上使用 Qwen LLM 验证了我们的方法。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15128 [cs.LG] |
| （或 arXiv:2610.15128v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15128 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vasileios Saketos [查看电子邮件]
[v1]
2026年10月10日星期六 19:14:51 UTC（1,564 KB）
来源：arXiv cs.AI · arxiv.org