arXiv cs.AI· Robin Staab, Tom Wollschl\"ager, Vahab Mirrokni, Reza Shokri·· 1 天前AI 评分44
PrivacyFlow：通过信息流分析与后果感知风险管理保障 AI 智能体隐私
PrivacyFlow: Privacy in AI Agents through Information Flow Analysis and Consequence-Aware Risk Management
AI 导读
PrivacyFlow 将隐私规划（System 2）与任务执行（System 1）分离，把每次数据共享决策当作结构化风险管理问题，在六个模型上显著减少步骤级隐私失败，并将无隐私违规的完整任务序列占比提升 22–55 个百分点。
正文 · AI 翻译
摘要：自主 LLM 智能体在个人数据上执行多步工作流时，往往与用户的隐私预期不一致，并泄露敏感的、脱离上下文的信息。尽管上下文完整性（Contextual Integrity，CI）将这一问题形式化，但现有的基准和防御措施很少能在不断变化的环境中，将 CI 落实到现实的多步任务序列中。在这项工作中，我们首先提出了 agentic PrivacyBench，这是一个包含 986 个任务序列中 5873 个任务的基准，具有动态环境更新和基于 CI 的敏感信息允许集。我们还提出了 PrivacyFlow，这是一种将审慎的隐私规划（系统 2）与任务执行（系统 1）分离的防御方法，将每个共享决策视为结构化的风险管理问题。在执行之前，PrivacyFlow 会追踪每个计划数据流的来源和目的，对接收方的背景知识建模，并模拟外部行为者可能推断出的内容。这使我们能够对披露的下游后果建模，包括推理攻击和依赖上下文的危害。然后，它将剩余的披露风险与任务效用进行权衡，并执行最小化计划、阻止该计划或咨询用户。在六个模型中，PrivacyFlow 显著减少了步骤级隐私失败，并将未检测到隐私违规的已完成任务序列占比提高了 22--55 个百分点。我们进一步强调了一种新的隐私--效用--自主性权衡：允许 PrivacyFlow 在不确定时主动提示用户，可以提高授权任务完成率，但代价是将决策负担转移回用户。我们的结果表明，主动的 CI 推理可以显著改善智能体隐私，并推动对这一权衡的进一步研究。
| 学科： | 密码学与安全（cs.CR）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.40714 [cs.CR] |
| （或此版本的 arXiv:2610.40714v1 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2610.40714 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Reza Shokri [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 01:54:36 UTC（152 KB）
来源：arXiv cs.AI · arxiv.org