arXiv cs.CL· Philipp E. Glass, Alina Miron·· 9 天前AI 评分26
CompOrca：为 OpenOrca 全量 423 万条指令微调数据打合规标签
CompOrca: Corpus-Scale Compliance Labelling of Instruction-Tuning Data
AI 导读
CompOrca 为 OpenOrca 语料全部 4,233,923 条样本提供合规标签，由开源权重模型 LongCat-2.0（1.6T 参数）进行五轮判定，并划分为一致合规（94.75%）、一致不合规（1.28%）与非一致行（3.97%）。
正文 · AI 翻译
摘要：研究微调如何塑造拒绝与不遵从行为，需要知道哪些训练样本拒绝或以其他方式未能满足请求。现有标注仅覆盖评估集，其规模远小于训练语料。我们提出 CompOrca，即 OpenOrca 语料全部 4,233,923 个样本的合规标签。每个样本均由一个开放权重 LLM 评判器（LongCat-2.0，1.6T 参数）进行五轮分类，判定为合规或不合规。该语料按一致合规（94.75%）、一致不合规（1.28%）和非一致行（3.97%）发布，并附原始投票计数。单轮会将语料的 2.7-3.2% 标记为不合规，而仅 1.28% 被全部五轮标记，因此最模糊的行可以被过滤掉。在 450 个人工标注样本（其中 150 个标注两次；人工-人工 $\kappa=0.93$）上，一致合规和一致不合规标签的精确率分别为 97.3% 和 86.7%。不合规标签是语料不合规的高精确率子集。已发表的拒绝检测方法对人工标注不合规的召回率在 0.4% 到 94.1% 之间。我们在 此 https URL 发布包含逐行标签和投票计数的完整语料
| Comments: | Accepted to PlurVA-LLM Workshop @ AACL-IJCNLP 2026. Dataset available on HuggingFace |
| Subjects: | 计算与语言（cs.CL）；机器学习（cs.LG） |
| Cite as: | arXiv:2609.37807 [cs.CL] |
| （或 arXiv:2609.37807v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.37807 arXiv 颁发的 DOI（通过 DataCite） |
Submission history
From: Philipp E. Glass [view email]
[v1]
Tue, 29 Sep 2026 15:25:07 UTC (20 KB)
[v2]
Thu, 8 Oct 2026 00:51:13 UTC (135 KB)
来源：arXiv cs.CL · arxiv.org