arXiv cs.AI· Rashmi Gangadharaiah, Balakrishnan Narayanaswamy·· 11 小时前AI 评分31
PEARL：面向部分偏好漂移下选择性遗忘的预测误差自适应正则化学习
PEARL: Prediction Error-Adaptive Regularized Learning for Selective Forgetting under Partial Preference Drift
AI 导读
PEARL 是一种预测误差自适应正则化学习方法，在预测明显出错的特性方向上反转 Gram 更新、其余方向保留置信度，实现选择性遗忘而非均匀遗忘。
正文 · AI 翻译
摘要：用户偏好会随着需求、情境和品味的变化而改变。这对个性化推荐、LLM 回复生成以及经 RLHF 训练的奖励模型都很重要，因为随着偏好漂移，这些模型可能会变得校准失当。现有的非平稳 bandit 方法会在所有维度上统一遗忘，但真实的偏好变化通常是局部的：一些维度变得过时，而另一些维度仍然有效。神经上下文 bandit 通过 Gram 矩阵单调累积置信度，没有任何机制将不确定性引导到预测出错的地方。我们提出 PEARL（Prediction Error-Adaptive Regularized Learning，预测误差自适应正则化学习），它沿着预测出人意料地错误的特征方向反转 Gram 更新，同时在其他地方保持置信度不变。我们证明：(i) 任何非自适应策略在偏好变化后都会遭受线性遗憾；(ii) 没有任何固定探索率能在平稳和非平稳两种情形下都实现低遗憾；(iii) PEARL 的累积遗憾随发生偏好变化的用户数 N_s 缩放，而非总人口 N。在 PRISM（一个个性化 LLM 回复选择基准，包含 1,500 名用户、21 个 LLM）上，PEARL 比贪心策略高 4.0 分，比最佳神经 bandit 基线高 2.5 分（p<0.001），而在偏好稳定时与贪心策略表现相当。它比滑动窗口和折扣方法高 3 到 10 分，表明选择性遗忘优于统一遗忘。该选择策略是一个约 10 万参数的 MLP，在 CPU 上以毫秒级运行，保持 LLM 权重冻结，并可与任何基于 API 的模型配合使用。
| 评论： | 36 页，6 幅图，10 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05842 [cs.LG] |
| （或 arXiv:2611.05842v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05842 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rashmi Gangadharaiah [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 02:31:49 UTC（1,470 KB）
来源：arXiv cs.AI · arxiv.org