arXiv cs.CL· Yufan Zhu, Yangfan Jiang, Yang Fei, Shizheng Hou, Shubhankar Mohapatra, Xiaokui Xiao·· 2 天前AI 评分22
QuasiLeak-Bench：评估 LLM 隐私检测器的策略条件准证据组恢复能力
QuasiLeak-Bench: Evaluating LLM-Based Privacy Detectors on Policy-Conditioned Quasi-Evidence Group Recovery
AI 导读
研究者提出 QuasiLeak-Bench，一个面向策略条件准证据组恢复的基准，用于评估检测器能否完整还原准证据组并标记违反给定策略的披露。实验显示现有隐私检测器迁移效果差，本地可部署的 LLM 检测器远落后于闭源模型，主要因漏掉大部分准证据组；但在训练集上微调的 4B 模型在留出文档上超过了最强的提示模型，表明该任务可学习。
正文 · AI 翻译
摘要：自然语言消息中常包含准标识符，这些标识符单独来看很弱，但联合起来可以揭示个人的私密属性。我们将这样一组联合揭示信息的线索称为准证据组。现有的隐私基准主要关注显式标识符、属性推断或任务驱动的信息披露，而准证据组带来的推断在很大程度上尚未被衡量。在实践中，暴露这样的准证据组是否侵犯隐私还取决于发送者指定的披露策略。我们提出了 QuasiLeak-Bench，一个用于策略条件下的准证据组恢复的基准，它评估检测器能否恢复完整的准证据组，并标记给定策略所禁止的披露。为了大规模获得可靠的基准真值，一个反向构建流水线首先选择弱准标识符，将它们组合成经验证可联合揭示目标属性的准证据组，并围绕这些证据生成文档，随后进行自动化质量控制。实验表明，现有的隐私检测器难以迁移到 QuasiLeak-Bench，且可本地部署的基于 LLM 的检测器远远落后于专有模型，主要原因是它们完全漏掉了大多数准证据组。然而，一个在我们训练集上微调的 4B 模型在留出文档上超过了最强的提示模型，表明该任务是可学习的。
| 评论： | 37 页，15 幅图，25 张表 |
| 主题： | 计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.21333 [cs.CL] |
| （或 arXiv:2610.21333v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21333 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Yufan Zhu [查看电子邮件]
[v1]
2026年10月15日星期四 06:20:09 UTC（2,570 KB）
来源：arXiv cs.CL · arxiv.org