Hugging Face Daily Papers· Joss Armstrong·· 18 天前AI 评分31
来源识别不等于适应度测试:合成数据归因的极限测量
Source Identification Is Not Fitness Testing: Measuring the Limits of Synthetic-Data Attribution
AI 导读
研究发现,对模型生成文本的来源识别在原文上准确率达 98.7%,但改写后降至 53.1%,风格重写后仅 29.0%。生成文本与人类文本的检测则几乎保持完美。这表明来源溯源在数据复用决策中并不可靠,无法据此判断哪些生成样本更适合训练。
来源:Hugging Face Daily Papers · huggingface.co