arXiv cs.AI· Mohammed Nayeem Khan, Aliyas Ahmad Misri·· 1 天前AI 评分29
Laya 决策编码器需要多少 LLM 标注训练行，标签又能错到什么程度？
How many LLM-labelled rows does a decision encoder need, and how wrong can the labels be?
AI 导读
研究对决策编码器 Laya（ModernBERT-large）做了 19 次微调，在 2,818 行数据池的嵌套子集上训练，并在 1,065 条同分布留出样本上评测：准确率从微调前 69.4% 升至用 5% 数据的 74.3%、50% 数据的 84.8% 和全量数据的 86.9%，曲线趋于饱和。
正文 · AI 翻译
摘要：像 Laya 这样的决策编码器读取一个带有命名选项的问题（例如，哪一部门应处理某张工单）和一段文本，并选择一个选项。它在一次前向传播中同时读取两者，并为每个选项返回一个概率，而不生成任何文本。我们研究这样的编码器需要多少由 LLM 编写的训练行，以及这些标签可能错到什么程度。我们在一个 2,818 行池的嵌套子集上对 Laya（ModernBERT-large）进行了 19 次微调，并在来自同一生成器的 1,065 个留出项上评分，因此每个测试项都是分布内的，且未运行任何族外测试。准确率从微调前的 69.4% 上升到使用 5% 行时的 74.3%、使用 50% 行时的 84.8% 以及使用全部行时的 86.9%。曲线趋于平缓，而带 bootstrap 区间的饱和拟合无法确定其平台值。在 20% 行处的种子离散度（标准差 1.6 个百分点）超过了一些规模之间的步长。给小子集与全池相同数量的更新，在 5% 行时提升 1.9 个百分点，在 20% 行时提升 1.9 个百分点（单一种子；p=0.14 和 0.13），而在 20% 处这低于两个普通种子之间 2.3 个百分点的差异。使用 10% 对称标签噪声的单次运行未显示出可检测的变化（-0.2 个百分点，95% 区间 -1.7 至 +1.4）；20% 噪声损失 3.4 个百分点，40% 损失 8.7 个百分点。20% 的易混淆对噪声损失 7.4 个百分点，且在噪声下模型从过度自信转为信心不足。一个独立标注者在 3.5% 的留出项上与金标签不一致，其选择分歧中约有一半（33 个中的 16 个，每次将该项排除在伙伴映射之外）指出了易混淆对噪声所使用的伙伴选项。在全规模下，Laya 比在相同行上训练的 TF-IDF 分类器领先 0.9 个百分点（区间包含零），而在 5% 行时领先 21.1 个百分点。所有内容均为合成、由 LLM 标注，且来自一个骨干、一个训练器，并且大多来自单一种子。
| 评论： | 24 页，20 幅图，15 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.16498 [cs.AI] |
| （或 arXiv:2611.16498v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16498 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aliyas Ahmad Misri [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 09:02:55 UTC（1,695 KB）
来源：arXiv cs.AI · arxiv.org