正则、Presidio 与混合方案：LLM 管道个人数据脱敏的速度与准确率对比

查看 PDF HTML（实验性）

摘要：如今许多企业项目会将自由文本传给大语言模型（LLM），而这些文本往往包含个人可识别信息（PII），例如姓名、电话号码、电子邮件地址、家庭住址和出生日期。一旦提示被发送，这些数据就会被复制到提供商系统、应用日志和可观测性追踪中。在调用前对 PII 进行脱敏是一项显而易见的控制措施，但团队很少掌握它在延迟方面的代价，或它究竟放过了哪些内容。本文比较了任何 LLM 流水线都可以采用的四种脱敏设计：纯正则表达式（regex）脱敏器、在 spaCy 模型上运行的 Microsoft Presidio、由 Presidio 仅识别人名而由 regex 处理结构化标识符的混合方案，以及直接调用 spaCy 命名实体组件的快速混合方案。这四种设计都共享一条已知实体规则（移除系统已知正在处理的那个人）和一致的占位符方案，因此 LLM 在脱敏后仍能区分不同的人。我们在一个名为 ProfileAssist 的示例工作流上评估这些设计，该工作流将简历转换为结构化档案，使用 100 份合成简历（平均 523 个字符，包含 900 个 PII 值和 600 个必须保留的业务术语）。Regex 的中位耗时为 0.20 ms，但仅捕获 88.9% 的 PII，因为它无法发现事先未知的姓名，例如简历中列出的推荐人。Presidio、混合方案和快速混合方案均捕获了 100% 的 PII，并保留了 100% 的业务术语，中位延迟分别为 37.59 ms、30.23 ms 和 13.48 ms。与 9,120 ms 的 LLM 调用中位耗时相比，即使最慢的选项也仅给请求增加 0.41% 的开销。因此，我们建议将快速混合方案作为处理个人数据的 LLM 流水线的默认选择，并将 regex 保留为安全网，而不是唯一的控制措施。

提交历史

来自：Shubham . [查看电子邮件]
[v1] 2026年11月5日星期四 08:18:36 UTC（16 KB）