arXiv cs.AI· Wen Zhang, Xiao Bai, Hsiang-wei Chao, Mengfan Zhu, Tong Zhao, Mingxuan Ju, Xiaodong Liu, Congfei Zhang, Yunzhi Zhou, Yajun Wang, Jinchao Li, Yu Zhang·· 3 天前AI 评分22
基于 LLM 的动态商品广告用户-商品相关性评估
LLM-based User-Product Relevance Evaluation for Dynamic Product Advertising
AI 导读
研究提出一种面向动态商品广告（DPA）检索系统的离线评估指标，通过 Semantic-ID 分组、事件分层切分将用户互动历史压缩为意图代表，再用 LLM 作为语义相关性评判者，对推荐商品逐意图打分并聚合为用户级相关性分数。
正文 · AI 翻译
作者：Wen Zhang、Xiao Bai、Hsiang-wei Chao、Mengfan Zhu、Tong Zhao、Mingxuan Ju、Xiaodong Liu、Congfei Zhang、Yunzhi Zhou、Yajun Wang、Jinchao Li、Yu Zhang
摘要：动态商品广告（DPA）检索系统是现代电商广告的核心组成部分；然而，其评估仍然具有挑战性。传统的离线互动指标受限于稀疏且有偏的反馈，而在线评估则成本高昂且耗时。在本工作中，我们提出了一种用于 DPA 检索系统离线评估的用户—商品相关性指标。该指标首先通过语义 ID 分组、事件分层分割将互动历史压缩为一组紧凑的意图代表，然后评估推荐商品与每个单独意图的相关性，并将其聚合为用户级相关性得分，从而得到一种稳定且可解释的检索质量度量。为了大规模计算该指标，我们利用大语言模型（LLM）作为语义相关性评判者，捕捉启发式方法常常遗漏的细微功能与语义关系。我们提出了一种智能体式、与人类对齐的提示框架，该框架生成多类别相关性指南，并将教师模型的判断蒸馏到高效的学生模型中，以实现可扩展的评估。所得指标与离线和在线业务指标高度相关，使得在 A/B 测试之前能够更快、更可靠地迭代 DPA 检索。
| Comments: | 8 页，2 幅图，CIKM 2026 |
| Subjects: | 信息检索（cs.IR）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.14550 [cs.IR] |
| （或 arXiv:2610.14550v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14550 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Vincent Zhang [查看邮箱]
[v1]
2026 年 10 月 10 日星期六 04:15:08 UTC（6,508 KB）
来源：arXiv cs.AI · arxiv.org