arXiv cs.CL· Tardelli Ronan Coelho Stekel·· 12 小时前AI 评分34
联合还是逐选项？1700万到10亿参数紧凑编码器用于闭集决策
Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters
AI 导读
针对闭集决策（如工具选择），研究比较了编码器联合读取选项与逐选项打分两种方式。在3200万参数、三个随机种子的实验中，逐选项打分在37项基准决策套件的留出样本上，相同优化步数下机会校正技能高出5.8分，训练算力近似匹配时高出2.8分，但需5至13倍的编码器前向次数。
正文 · AI 翻译
摘要：许多语言模型流水线最终都归结为一个闭集决策，例如选择一个工具。让大型语言模型来做这件事既慢又对顺序敏感。我们研究用于此类决策的编码器可以小到什么程度，以及它应当联合读取选项还是分别读取。在一项参数量为 3200 万的三种子研究中，在 37 项基准决策套件的留出样本上，按选项评分在相同优化器步数下比联合评分高出 5.8 个机会校正技能点，在训练计算量大致相同时高出 2.8 个点；两个外部基准也一致，尽管在其未见任务上并不显著。将读取器与初始化交叉组合表明，这一优势需要重排序器初始化，其查询-候选对输入与按选项读取相匹配；从原始编码器出发，两种读取器无法区分。按选项评分需要多 5 到 13 倍的编码器前向次数：中位延迟至多两倍，但平均延迟超过四倍。在六个已发布的联合编码器（1700 万至 10 亿参数）中，6800 万和 1.5 亿参数的模型在 209 项经过重叠审计的 System1-Arena 任务上，分别比 4.35 亿参数的 DeBERTa-v3 零样本分类器高出 4.9 和 5.9 个准确率点，并且在训练中未见的 145 项任务上至少与之持平。最小的模型在 16 个处理器线程上以 14 毫秒回答中位请求，而该分类器需要 728 毫秒。重新排列选项会改变联合模型 12% 到 23% 的答案（按选项评分：无变化）。在参数量不超过 6800 万时，它们在公开排行榜的私有、主要同分布测试中领先于其规模区间。
| 评论： | 18 页，8 幅图，8 张表。代码：此 https URL ；模型：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.30970 [cs.CL] |
| （或 arXiv:2610.30970v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30970 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tardelli Ronan Coelho Stekel [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 09:14:44 UTC（251 KB）
来源：arXiv cs.CL · arxiv.org