跳到正文
arXiv cs.AI· Bojing Feng, Jinqiu Deng, Zihan Hong, Yuan Xue, Wenqi Xiang, Shuhan Wang, Feng Xiao, Shiwei Wang, Zijiang Liu, Shaomin Li, Yongzhi Qi·· 4 小时前AI 评分29

LULR:为基于 LLM 的增益估计正则化处理泄漏

Regularizing Treatment Leakage for LLM-based Uplift Estimation

AI 导读

研究者提出 LULR(LLM-based Uplift Leakage Regularization),在冻结 LLM 编码器的前提下,用 CLUB 互信息上界的变分近似惩罚因果头共享表示与处理变量的依赖,而非笼统的参数收缩。

正文 · AI 翻译

作者:Bojing Feng、Jinqiu Deng、Zihan Hong、Yuan Xue、Wenqi Xiang、Shuhan Wang、Feng Xiao、Shiwei Wang、Zijiang Liu、Shaomin Li、Yongzhi Qi

查看 PDF HTML(实验性)

摘要:大语言模型(LLM)为增益估计提供语义特征,但暴露处理信息的文本可能诱发无法迁移到部署环境的预测捷径。我们提出 \emph{基于 LLM 的增益泄漏正则化}(\textsc{LULR})来应对这一风险。在 LLM 编码器冻结的情况下,\textsc{LULR} 惩罚因果头可训练共享表示与处理变量之间的依赖关系,同时保留各自独立的结果头。该惩罚项使用互信息的对比对数比上界(CLUB)的变分近似,针对的是处理依赖而非通用的参数收缩。受控代理实验提供了探索性证据:在注入处理信息的情况下,相对于无正则化和所测试的权重衰减设置,排序分数有所提升。仅结构化数据的基准测试显示出温和且依赖数据集的效果。在一项工业定价随机对照试验中,\textsc{LULR} 的平均离线 $\text{lift@}0.3$ 为 $0.258$,而相同骨干网络的基线为 $0.106$。对完整部署定价策略另行开展的一周在线 A/B 测试记录到,与对照组相比,销量提高 $5.45\%$,商品总值提高 $1.91\%$。这些短期策略层面的收益并不能单独分离出正则化器的作用。
主题: 人工智能(cs.AI)
引用为: arXiv:2611.20794 [cs.AI]
  (或此版本的 arXiv:2611.20794v2 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.20794

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Bojing Feng [查看邮箱]
[v1] 2026年11月16日星期一 09:42:24 UTC(86 KB)
[v2] 2026年11月17日星期二 06:13:58 UTC(86 KB)

来源:arXiv cs.AI · arxiv.org