高斯隐藏状态发布为何不存在隐私与效用的中间地带

本文已被 Alexander Okezue Bell 撤回

摘要：在我们针对单层隐藏状态隐私测试的 $1{,}536$ 个高斯发布协方差中，没有一个能同时实现对自适应检索攻击者的中等效用和中等隐私。我们证明了一个互补的 Fisher 球下界：每个在 $O(1)$ Fisher 效用下的满秩高斯发布都允许存在一个方向，其 Mahalanobis 信号随隐藏宽度线性增长，从而排除了该类中一致的高斯安全性，并与经验上的空中间区域相符。对角逆 Fisher 发布 $\Sigma^\star_{\mathrm{diag}}(\mathcal{K}) = (2\mathcal{K}/d)\,\mathrm{diag}(1/F_{ii})$ 是在一阶 KL 预算 $\mathcal{K}$ 下唯一极小极大最优的对角机制，也是在 32 个模型层网格的每个点上唯一使最坏攻击者 top-1 $\le 0.001$ 的发布，但它位于隐私/效用边缘，而非填充中间区域。一种在欧几里得检索下达到 $13\times$ 帕累托缩减的广义特征机制，在自适应 Mahalanobis 攻击者下坍缩为 $100\%$ top-1，而一个全轨迹序列反演器可恢复 $94\%$ 的干净 GPT-2 前缀，但在 $\Sigma_{\mathrm{diag}}$ 下为 $0\%$。从头训练的分离记忆 transformer 在 90M 时达到 $G_{\mathrm{Mah}} \in [20, 33]$，并在固定 token 语言建模损失惩罚下，从 30M 到 1B 保持相对于同等预算 GPT 基线的 $6$--$24\times$ 优势；预训练模型最高为 9.3。这些结果将隐藏状态发布从高斯类内的机制设计重新定义为架构或发布协同设计。

评论：	结果整体不完整，需要为未来论文重新运行
主题：	机器学习 (cs.LG)；人工智能 (cs.AI)
引用为：	arXiv:2605.24042 [cs.LG]
	（或 arXiv:2605.24042v4 [cs.LG] 为此版本）
	https://doi.org/10.48550/arXiv.2605.24042 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Alexander Okezue Bell [查看电子邮件]
[v1] 2026年5月21日星期四 20:12:09 UTC (811 KB)
[v2] 2026年5月26日星期二 03:25:09 UTC (811 KB)
[v3] 2026年7月6日星期一 17:37:14 UTC (810 KB)
[v4] 2026年10月26日星期一 11:12:49 UTC (1 KB) （已撤回）