arXiv cs.AI· Yunting Song, Matthew Watson, Moustafa Farid Alzantot, Peter Grabowski, Jun Qin·· 6 天前AI 评分24
First-Order In-Context Shapley：面向 LLM 对齐与评估的可扩展数据审计
First-Order In-Context Shapley: Scalable Data Auditing for LLM Alignment and Evaluation
AI 导读
研究者提出 First-Order In-Context Shapley，一种仅需推理的估值流程，在语义 k-NN 邻域上以 O(k) 次前向传播计算上下文合作博弈的一阶项，无需更新参数，与多轮 Monte-Carlo in-context Shapley 在 100% 目标上正相关且计算量减少 19 倍。
正文 · AI 翻译
摘要：大型语言模型的训练后对齐日益受到数据质量的制约：偏好与指令微调语料库中积累的标签噪声、安全性反转以及标注者之间的矛盾，是去重方法无法发现、而全语料库 LLM 评判又无力承担的。虽然 Data Shapley 提供了有原则的估值框架，但精确计算需要难以承受的重新训练，而 KNN-Shapley 等嵌入代理方法无法区分高效用与低效用的示范样本（与生成效用之间的 $\rho = 0.0003$）。我们提出了一种仅需推理的估值流程，它在语义 $k$-NN 邻域上计算上下文合作博弈的一阶项，只需 $O(k)$ 次前向传播且无需更新参数，在 100% 的目标上与多轮蒙特卡洛上下文 Shapley 呈正相关，且计算量减少 19 倍。将成对对数似然偏移投影到有向影响图上，通过三个信号刻画每条记录：出向的示范优势、入向的被示范优势，以及保护稀有提示的拓扑唯一性得分。预过滤将 LLM 孪生仲裁限制在 1%-5% 的记录上，同时在 HelpSteer2 上实现确认错误 4.5 倍的富集，在 Anthropic HH-RLHF 上实现 2.2 倍，捕捉到零样本似然和边际过滤所遗漏的矛盾。在 DPO 训练期间，已确认的矛盾比干净记录更频繁地反对更新（在 LoRA 梯度中为 56.7% 对 37.0%），并且在奖励准确率上低于随机水平。最后，审计 HH-RLHF 基准暴露出标签错误，其中对齐模型在 73%-83% 的情况下与人类标签不一致，而在修复或过滤被标记记录后重新训练 DPO，即使没有 LLM 仲裁，也能使整体奖励准确率提升 +0.5%-0.6%，在修复的反转样本上提升 +3.1%-3.5%。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.22766 [cs.LG] |
| （或 arXiv:2607.22766v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.22766 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Yunting Song [查看电子邮件]
[v1]
2026年7月24日星期五 03:31:44 UTC（144 KB）
[v2]
2026年10月8日星期四 20:38:14 UTC（256 KB）
来源：arXiv cs.AI · arxiv.org