arXiv cs.CL· Qazi Mamunur Rashid, Xuan Yang, Zhengzhe Yang, Yanzhou Pan, Erin van Liemt, Darlene Neal, Kshitij Pancholi, Jamila Smith-Loud·· 12 小时前AI 评分58
NodeSyn：面向 AI 评估的社会对齐合成数据方法
NodeSynth: Socially Aligned Synthetic Data for AI Evaluation
AI 导读
论文提出 NodeSyn 方法，用微调的分类体系生成器（TaG）结合可信公开来源与敏感属性，生成反映真实社会语境和细粒度危害的查询。
正文 · AI 翻译
摘要：生成式 AI 的最新进展促进了用于模型评估的大规模合成数据生成。然而，如果没有针对性的方法，这些数据集往往缺乏敏感领域所需的社会技术细微差别。我们提出 NodeSyn，一种方法，它将微调后的分类生成器（TaG）与可信的已发表来源以及提取的敏感属性相结合，以生成反映真实社会背景和细微危害的查询。在医疗建议和自残两个领域，使用经人工验证的自动评分器对十个开放权重和专有 LLM 进行评估，NodeSyn 在每个领域的 10 个模型中有 8 个排名第一。NodeSyn 数据集引发的平均失败率是通用合成基线的 3.1 倍，是结构化合成基准的 2.4 倍，是真实人工编写查询的 1.6 倍。消融研究证实，在控制结构混杂因素的情况下，我们的细粒度 Level 3 分类扩展在 10 个模型中的 9 个上显著推动了这些失败率高于 Level 2（医疗建议相对提升 +29.2%，自残相对提升 +24.0%）。方差归因分析揭示，失败不仅由查询的主题（分类节点和词汇特异性）驱动，还由其社会技术基础（受影响的人口统计特征、职业、地理位置和查询角色）驱动。我们将此方法嵌入研究原型，并开源（此 https URL）代码和数据集，以实现可扩展的高风险模型评估
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.14381 [cs.LG] |
| （或 arXiv:2605.14381v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.14381 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yanzhou Pan [查看电子邮件]
[v1]
2026 年 5 月 14 日星期四 05:06:50 UTC（407 KB）
[v2]
2026 年 5 月 16 日星期六 23:33:47 UTC（408 KB）
[v3]
2026 年 10 月 20 日星期二 21:38:55 UTC（545 KB）
来源：arXiv cs.CL · arxiv.org