arXiv cs.CL· Miaobo Hu, Shuhao Hu, Xiaobo Guo, Xin Wang, Bokun Wang, Daren Zha·· 10 小时前AI 评分29
IntentTwin：离线网页行为预测中的候选支持混淆与 Oracle 到部署的差距
IntentTwin: Deconfounding Candidate Support and the Oracle-to-Deployment Gap in Offline Web Behavior Prediction
AI 导读
研究提出 IntentTwin，揭示离线网页行为基准将目标动作插入有限候选集再重排序会引入候选支持混淆，并用支持可识别率（SIR）量化该效应。
正文 · AI 翻译
摘要：离线网络行为基准测试经常将演示动作插入有限候选集，然后测量重排序。我们表明，该协议可能产生候选支持混淆：当目标位于训练支持集之外，而所有干扰项均从该支持集中采样时，支持集成员身份无需建模行为即可识别出黄金动作。我们用支持可识别率（SIR）形式化这一效应，构建支持平衡的候选集，并评估一种无目标双路径提议器，该提议器将支持检索与开放词汇 DOM/LM 提议相结合。在过滤后的 OPeRA（4,282/469/992 训练/开发/测试步）上，原始协议在目标 OOV 行上的 SIR 为 1.0000，仅基于支持的规则在 OOV Exact@1 上达到 1.0000。支持平衡将 SIR 降至 0.0000；最强的条件重排序器获得总体 Exact@1 0.7214、IV 行 0.7988、OOV 行 0.5668。无目标双路径系统达到 Proposal Recall@16 0.6915 和端到端 Exact@1 0.5212，而 oracle 条件 Exact@1 为 0.7450。在 Mind2Web 上，同样的审计得出 SIR 0.2380 和 oracle 到提议的差距 0.2125。一项 200 行语义审计将 0.7150 的精确键 OOV 目标标记为语义新颖，0.2450 标记为定位器/字符串变体，0.0400 标记为模糊（Cohen's $\kappa=0.8173$）。这些测量表明，当使用离线结果来推断部署情况时，为什么必须在控制支持集组成的同时控制候选准确率。
| 评论： | 26 页，10 张图 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.12918 [cs.CL] |
| （或 arXiv:2611.12918v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12918 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bokun Wang [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 18:39:23 UTC（1,841 KB）
来源：arXiv cs.CL · arxiv.org