arXiv cs.CL· Vladimir Beskorovainyi·· 11 小时前AI 评分29
Ru-Jev 研究：标签措辞增强提升生词准确率，但对缩写与代码无效
Label-Wording Augmentation in a Typed-Decision Encoder: Gains on Unfamiliar Words, Not on Abbreviations or Codes
AI 导读
307M 参数多语言 cross-encoder Ru-Jev 的后续版本加入标签多表面形式增强，在 18 个路由标签、10 套标签词表上，对普通词与借词（英文衍生术语、办公室俚语、部门名）的准确率在全部设置下均有提升，最高 +0.24，14 项增益中 11 项通过 Holm 校正。
正文 · AI 翻译
摘要：类型化决策模型对调用者在请求时提供的选项进行打分，因此其准确率取决于模型开发者无法控制的标签措辞。我们比较了一个 307M 参数多语言交叉编码器 Ru-Jev 的两个版本，该模型在十三项俄语任务上训练；较晚的版本增加了一种增强方法，以多种表面形式呈现标签。在保持问题不变、仅改变十八个路由标签措辞的情况下，我们评估了十种标签词表，这些词表由三个独立流程生成，并检查了与训练数据的重叠情况，每个问题有五个候选，其中八个还使用十八个候选。在由普通词或借词（源自英语的术语、办公室俚语、部门名称）构成的留出词表上，增强版本在每种设置下都更准确，最高提升 0.24。这十四项提升中有十一项通过 Holm 校正（十八个候选的俚语和五个候选的描述性句子未通过），而对于所有标签上的术语，标签级区间在两种设置下均不包含零。在缩写和不透明代码上，它没有带来可用的提升：在缩写上它并不更好，在干净切片上反而更差；在不透明代码上，一旦移除与训练选项相关的标签，两个版本都处于或低于随机水平。在准确率上升的大多数单元格中，风险-覆盖率面积下降，但在十八个候选时，术语和俚语上的自信错误增加。在两个两个版本都未见过的数据集上，准确率分别变化 -8.4 和 +5.6 个百分点。我们还报告了比较两个版本时出现的四个评估隐患。
| 评论： | 11 页，6 张表。模型：此 https URL ；代码：此 https URL ；存档版本：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.08439 [cs.CL] |
| （或 arXiv:2611.08439v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08439 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vladimir Beskorovainyi [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 18:31:24 UTC（15 KB）
来源：arXiv cs.CL · arxiv.org