arXiv cs.CL· Yaowen Ye, Jacob Steinhardt, Sarah Schwettmann, Cassidy Laidlaw·· 11 小时前AI 评分55
研究团队自动生成带意外副作用的训练数据集，覆盖 8 种行为共 6575 个
Mass Producing Training Data with Surprising Side Effects
AI 导读
arXiv 论文提出自动发现带意外副作用的训练数据集（DSSE），要求数据能诱发目标行为、读起来像普通后训练数据、且让人类审阅者感到意外，并用 LLM 评判器将这三项标准量化。
正文 · AI 翻译
摘要：训练数据可能会对语言模型在训练领域之外的行为产生意想不到的副作用：不安全的代码数据可能诱发广泛的失准，而过时的鸟类名称可能诱发19世纪的人格。理解这种泛化很困难，因为目前只有几十个孤立的例子，每个例子要么是手工构造的，要么是偶然发现的。我们提出自动发现这类具有令人惊讶副作用的数据集（DSSEs）。我们为 DSSEs 定义了三个目标：它们应当（1）引出目标行为，（2）读起来像普通的训练后数据，（3）让阅读这些数据的人类审核者感到惊讶。我们用 LLM 评判器将每个目标操作化，并通过进化、强化学习和潜意识学习方法来搜索高分数据集。在用留出指标重新评分和过滤后，我们的流水线在 8 种行为上产生了一个包含 6,575 个 DSSEs 的集合，其中许多能在不同模型家族和规模上泛化。我们发现，我们的自动化指标与 ML 研究人员的判断一致，并且前沿模型在预测副作用方面优于人类。这些数据集构成了研究泛化的测试平台，并为在模型部署前预测训练副作用奠定了基础。请在此 https URL探索它们。
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用为： | arXiv:2611.06324 [cs.CL] |
| （或 arXiv:2611.06324v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06324 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yaowen Ye [查看电子邮件]
[v1]
2026年11月4日星期三 10:57:28 UTC（1,040 KB）
来源：arXiv cs.CL · arxiv.org