arXiv cs.AI· Meng Ding, Mingxi Lei, Jie Zhang, Jinyan Liu, Di Wang·· 12 小时前AI 评分26
差分隐私稀疏奖励估计：基于偏好反馈的 Private Sparse RLHF 理论框架
Differentially Private Sparse Reward Estimation with Preference Feedback
AI 导读
研究提出 Private Sparse RLHF 问题，假设人类偏好由 s* ≪ d 个相关特征决定，首次为 Bradley-Terry-Luce 模型下基于成对偏好反馈的差分隐私稀疏奖励估计建立完整理论框架，并给出 Sample-DP 与 Label-DP 两种设定下的高效算法。
正文 · AI 翻译
摘要：基于人类反馈的强化学习（RLHF）已成为使大语言模型与人类价值观对齐的核心范式。然而，对敏感偏好数据的依赖要求严格的差分隐私（DP）保证，以防止用户信息泄露。现有的隐私对齐方法通常假设稠密奖励参数化，导致估计误差界随环境{模型规模 $d$}呈多项式增长。在现代{过参数化模型}中 $d$ 极大，这种依赖是难以承受的。在本工作中，我们研究\emph{隐私稀疏 RLHF} 问题以解决这一局限，假设人类偏好（奖励模型）由 $s^* \ll d$ 个相关特征的子集所支配。我们首次为 Bradley-Terry-Luce 模型下基于成对偏好反馈的差分隐私稀疏奖励估计提供了全面的理论框架，并针对 Sample-DP 和 Label-DP 两种设置引入了高效算法。在理论上，基于平方 $\ell_2$ 参数估计误差，我们建立了 $(\varepsilon,\delta)$-Sample-DP 的上界 $\widetilde{O}(s^*/n + {s^*}^2/n^2\varepsilon^2)$ 以及基于随机化响应的 $\varepsilon$-Label-DP 的上界 $\widetilde{O}(s^*/n + s^*/n\varepsilon^2)$，其中 $n$ 为训练数据规模。对于下界，我们证明 Sample-DP 速率近乎最优，且我们的 Label-DP 方法在随机化响应框架内的保证无法进一步改进。我们还给出了 Label-DP 问题的一般下界。在实证上，我们的框架在情感生成和安全对齐基准上展现出优于稠密基线的效能，提供了显著更有利的隐私-效用权衡。
| 评论： | 36 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.30099 [cs.LG] |
| （或 arXiv:2610.30099v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30099 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Meng Ding [查看邮箱]
[v1]
2026年10月21日 星期三 17:45:42 UTC（96 KB）
来源：arXiv cs.AI · arxiv.org