arXiv cs.CL· Santhosh Kumar Kasa, Siva Rajesh Kasa, Sumit Negi·· 10 天前AI 评分25
相同文本，不同预测：文本分类器中的服务上下文非确定性
Same Text, Different Prediction: Serving-Context Nondeterminism in Text Classifiers
AI 导读
一项系统性研究训练了 180 个模型，覆盖判别式、伪生成式和完全生成式分类器，在固定 checkpoint 和文本的前提下评估四类服务上下文。仅改变 batch shape 在 fp32 下不改变任何标签，但在 bf16 下可移动最多 56.7 个百分点的预测概率质量，标签变化集中在小 margin 处；相同服务变化下，完全生成式分类器比判别式分类器改变更多标签。
正文 · AI 翻译
摘要：确定性推理对于可靠且值得信赖的机器学习至关重要。此前的文本生成研究表明，即使提示、模型参数和采样随机性固定不变，改变批次大小、批次组成、硬件或推理引擎等因素也会改变生成的文本。这些差异部分归因于浮点非结合性、形状相关的内核选择以及数值执行中的其他实现层面差异。然而，这些因素是否、何时以及在多大程度上影响文本分类，目前仍不清楚。我们针对文本分类器中的服务上下文非不变性进行了系统性研究，而此前的工作仅通过生成的文本对此进行衡量。我们训练了 180 个模型，涵盖判别式、伪生成式和完全生成式分类器形式，并在保持检查点和文本固定的情况下，对每个模型在四类服务上下文中进行评估。标签稳定性并不意味着分数稳定性。仅改变批次形状在 fp32 比较中不会改变任何标签，但在 bf16 下会移动高达 56.7 个百分点的预测概率质量，且标签变化集中在小间隔处。在相同的服务变更下，完全生成式分类器比判别式分类器改变更多标签。我们推导出每种服务变更下标签稳定性的充分条件，并针对每种机制给出单独的缓解措施。我们的结果识别并量化了可复现文本分类所必须固定的服务条件。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.09111 [cs.CL] |
| （或 arXiv:2610.09111v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09111 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
发件人：Siva Rajesh Kasa [查看电子邮件]
[v1]
2026年10月6日星期二 21:02:25 UTC（283 KB）
来源：arXiv cs.CL · arxiv.org