arXiv cs.AI· Alina Nesen, Prathyusha Kanmanth Reddy, David Relyea, Rohit Avinash Mujumdar, Samaneh Karimi, Bo Shen, Jordan Hashemi·· 11 小时前AI 评分33
MOSS：面向搜索与推荐系统语义故障监控与诊断的生产框架
MOSS: A Production Framework for Monitoring and Diagnosing Semantic Failures in Search and Recommendation Systems
AI 导读
研究团队提出生产框架 MOSS（Model Sanity Service），将基于 LLM 的相关性打分嵌入循环监控流程，结合定向采样、策略感知提示词、结构化告警与根因诊断提示，用于捕捉搜索和推荐系统的语义故障。
正文 · AI 翻译
摘要：检测生产环境推荐和搜索系统中的语义故障十分困难：行为指标滞后数天，人工审核无法扩展，而大多数 LLM 评估框架是为离线、固定数据集设计的，而非用于持续运营监控。我们提出 Model Sanity Service（MOSS），这是一个生产框架，通过将基于 LLM 的相关性评分嵌入到循环监控流程中，来填补这一运营空白，该流程包含定向采样、策略感知提示、结构化告警，以及将故障归类为可操作根因的诊断性后续提示。
MOSS 已在一家美国大型零售商的生产环境中运行超过六个月，覆盖推荐、搜索和优惠展示面，并已发现两个已确认的服务缺陷。对于其中一个回填混合缺陷，MOSS 在离线环境下量化了拟议修复方案的影响：告警率相对降低 76.4\%。在包含 498 对人工标注的推荐基准上，前沿 LLM 评判器取得了比非 LLM 基线（内部生产嵌入和 SBERT）更高的 F1 和 AUC 点估计值，在需要意图级关系推理的策略依赖任务上提升最大。相同的评判器、评分量表和阈值迁移到包含 21 个查询、466 对样本的搜索基准上，仅需针对具体展示面调整提示，即可在无需重新调参的情况下取得较强的 F1 和 AUC。这些结果表明，单一 LLM 监控框架可以在大规模电商环境中，跨多个产品发现面提供有用且可操作的质量信号。
| 评论： | 10 页。本工作的早期版本曾在非存档的统一搜索与推荐研讨会（USRW）上展示，该研讨会与 ACM RecSys 2026 同期举办。本稿件目前正在 IEEE BigData 2026 审稿中 |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.26902 [cs.IR] |
| （或 arXiv:2610.26902v1 [cs.IR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.26902 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alina Nesen [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 21:26:06 UTC（780 KB）
来源：arXiv cs.AI · arxiv.org