Verdict-MQ：一次编码、多问题决策的开源编码器

查看 PDF HTML（实验性）

摘要：自动化组织工作意味着要针对同一份状态回答许多小型类型化问题（这封邮件是否需要回复、有多紧急、由谁负责），并且给出的概率要足够可靠，无需人工介入即可据此行动。我们与之比较的开放类型化决策模型，例如标准交叉编码器，会对每个问题分别对输入进行一次前向计算。我们提出 Verdict-MQ，一个开放编码器，只需读取一次案例即可回答其所有问题：在截断后保留相同的状态 token（已在每个报告的案例上验证）的情况下，结构化注意力掩码使状态编码与问题无关，防止问题之间相互影响，并通过构造使选项顺序无关紧要。在类型化决策基准上，一个 395M 的 Verdict-MQ 在全部五个新随机种子上都显著优于已发布的 421M Laya 专家模型，与软金标签更匹配（KL 0.080 对 0.117，Brier 0.045 对 0.061），这一优势在按系统进行温度缩放后依然存在；其更高的准确率（0.801 对 0.767）已超过该基准自身的饱和点，因此我们将这一差距解读为与基准标注教师模型更为接近。在 RACE、BoolQ 和 MultiRC 上，与匹配的微调基线相比，它在 MultiRC 上胜出，在 RACE 和 BoolQ 上落败，其训练不稳定；我们自行测量了零样本参考结果，包括一个封闭通用系统（Jev），它击败了所有微调编码器。一项受控比较衡量了共享状态的代价：为每个问题提供其各自的问题感知状态副本，在 RACE 和 MultiRC 上可获得 0.9-3.5 个百分点的提升，但每案例延迟为 1.4-2.5 倍，而在类型化决策上无可测量的提升，且不变性保证保持不变。

评论：	19 页，2 幅图，14 张表。代码：此 https URL
主题：	计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2610.20778 [cs.CL]
	（或 arXiv:2610.20778v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.20778 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Avdhesh Singh Chouhan [查看电子邮件]
[v1] 2026 年 10 月 14 日星期三 18:27:25 UTC（59 KB）