跳到正文
arXiv cs.CL· Teng-Ruei Chen·· 10 天前AI 评分34

LLM 路由元数据如何泄露敏感话题:测量与缓解

Sensitive-Topic Leakage Through LLM Routing Metadata: Measurement and Mitigation

AI 导读

研究发现 LLM 路由器的模型选择日志即使关闭内容记录,也能泄露用户敏感话题。基于 170 万条真实请求(WildChat-1M、LMSYS-Chat-1M)的预注册实验显示,RouteLLM 在 50% 工作点上,骚扰和自残请求进入强模型的概率比同类低 19 个百分点,医疗请求低 31 个百分点,性相关请求高 10 个百分点。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:LLM 路由器根据每次请求的内容为其选择廉价或昂贵的模型,许多网关以及部分云平台可以在关闭内容日志记录的情况下记录这一选择。我们在 token 计数之外衡量这一隐私信道,并考虑了噪声标签和重复提示。我们在 170 万条真实请求(WildChat-1M、LMSYS-Chat-1M)上开展了预注册研究,使用两个成本/质量路由器和一域路由器,调查了十一个系统的日志记录情况,并测试了后处理防御。在长度匹配的情况下,偏移的方向取决于类别和路由器。对于 RouteLLM 在 50% 工作点,骚扰和自残请求到达强模型的频率比在探索中未见过的提示上的可比请求低 19 个百分点,医疗请求(探索性:LLM 标签未通过其门控)在不同提示上低 31 个百分点(两者均为事后分析),性相关请求高 10 个百分点(次要);另一个路由器的四项均为负。二十次 RouteLLM 决策能以 AUC 0.71 区分频繁医疗提问者,为探索性且低于预注册主要终点的 0.75(域路由器:0.92,为上限估计)。在真实流量上,使用准确标签进行按类别长度匹配的对等性可消除该差距,在 RouterBench 上最多损失 0.2 个准确率点(事后分析),其中路由器在敏感主题上的差距(13-42 个百分点,预注册)超过按实际准确率增益的 oracle 路由的差距(1-11,事后分析)。按对话的粘性、按用户的预算区间以及合并对等性均失败,最后一项是因为各类别的偏移在幅度或方向上不同。事后精确的按用户速率仅隐藏偶数前缀的强模型计数,并丧失大部分自评估路由价值;它保留奇数位置的决策,据此一个事后日志攻击在 20 次 RouteLLM 请求后达到 AUC 0.73(探索性)。
评论: 20 页,5 幅图,9 张表
主题: 密码学与安全(cs.CR);计算与语言(cs.CL)
引用为: arXiv:2610.09981 [cs.CR]
  (或 arXiv:2610.09981v1 [cs.CR] 对应此版本)
  https://doi.org/10.48550/arXiv.2610.09981

arXiv 颁发的 DOI 经由 DataCite(待注册)

提交历史

来自:Teng-Ruei Chen [查看电子邮件]
[v1] 2026 年 10 月 7 日星期三 12:47:37 UTC(406 KB)

来源:arXiv cs.CL · arxiv.org