arXiv cs.AI· Wenwen Si, Honghao Wei·· 10 天前AI 评分22
RLCP：用校准剪枝的自适应动作集强化学习做序列推荐
Reinforcement Learning with Conformal Action Sets: An Application to Sequential Recommendation
AI 导读
针对序列推荐固定候选集大小的问题，研究者提出 RLCP（Reinforcement Learning with Calibrated Pruning），用 critic 分数和在线阈值自适应调整保留的动作集，并证明自适应轨迹上代理漏检率的确定性上界。
正文 · AI 翻译
摘要：序列推荐器通常使用固定的候选集大小，即便在一次会话中有用备选的数量会发生变化。我们提出带校准剪枝的强化学习（RLCP），它利用评论家分数和在线阈值来调整保留的动作集。该阈值根据二元反馈进行更新，该反馈指示集合中是否包含代理目标中的动作。我们证明了沿自适应轨迹观察到的代理漏检率的确定性上界。为了量化剪枝对奖励的影响，我们推导出价值损失分解为过滤损失和选择损失的精确分解。在显式的代理和评论家近似条件下，该分解给出了有限的会话奖励上界，该上界还考虑了不完美的选择和集合截断，且不要求学习参数收敛。在 KuaiRand-Pure 和 MovieLens 1M 上的实验将两种 RLCP 实现与四个 RL 基线进行了比较。在 19 种配置中的每一种，至少有一种 RLCP 变体实现了最高的目录多样性，达到最强基线的 $1.11\times$ 至 $5.21\times$，同时会话深度具有竞争力且保留集不更大。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08743 [cs.LG] |
| （或 arXiv:2610.08743v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08743 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wenwen Si [查看电子邮件]
[v1]
2026年10月6日星期二 17:40:52 UTC（861 KB）
来源：arXiv cs.AI · arxiv.org