arXiv cs.AI· Junwei Chen, Manjiang Yu, Pengpeng Qiao, Yang Cao·· 13 小时前AI 评分22
面向 LLM 对齐的排序感知列表偏好差分隐私发布方法
Rank-Aware Differentially Private Release of Listwise Preferences for LLM Alignment
AI 导读
研究者提出一种排序感知指数机制，将列表偏好数据在本地差分隐私（LDP）下转化为低敏感度的固定大小二元划分，使噪声集中在边界条目而非像随机化响应那样均匀扰动所有条目。在下游 LLM 对齐任务中，该机制在相同隐私预算下持续优于现有 LDP 基线。代码已公开。
正文 · AI 翻译
摘要：与成对比较相比，列表式偏好反馈为大语言模型（LLM）对齐提供了更丰富的监督信号，但完整排序也会暴露更多敏感的用户偏好。现有的隐私保护对齐方法主要关注成对反馈，而本地差分隐私（LDP）下的列表式对齐尚未被探索。将 LDP 扩展到这一列表式领域带来了一个关键挑战：完整排序空间的高敏感度需要过量的噪声，从而抵消了列表式监督的优势。为应对这一挑战，我们分析了下游训练中监督粒度与隐私噪声之间的相互作用，并提出了一种秩感知指数机制，可将列表式偏好数据私有化为适合下游对齐的低敏感度粒度。该机制利用排序信息采样固定大小的二元划分，将噪声集中在边界项目附近，而不是像随机化响应（RR）那样对所有项目均匀扰动。在下游 LLM 对齐任务上的实证评估表明，在相同隐私预算下，我们的机制始终优于现有的 LDP 基线。代码可在 此 https URL 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37682 [cs.CL] |
| （或 arXiv:2610.37682v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37682 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junwei Chen [查看电子邮件]
[v1]
2026年10月13日星期二 04:17:15 UTC（508 KB）
来源：arXiv cs.AI · arxiv.org