arXiv cs.AI· Ziyad Benomar, Weronika {\L}ajewska, Leonardo Perelli, Saab Mansour·· 6 天前AI 评分32
基于数据驱动人设的 LLM 智能体用于 A/B 测试模拟
Data-Driven Persona-Conditioned Agents for A/B Test Simulation
AI 导读
研究者提出一种 A/B 测试模拟框架，用 LLM 智能体承载基于真实用户行为信号构建的数据驱动人设，替代此前的合成或规则型人设。在覆盖两类指标的 40 项 A/B 测试基准上，最佳配置取得 0.75-0.80 的方向准确率，可用于快速、低成本的实验预筛。该工作已被 EMNLP 2026 Industry Track 与 REALM Workshop 接收。
正文 · AI 翻译
摘要：A/B 测试是评估产品变更的黄金标准，但每次实验都需要真实用户流量、工程投入以及数周的测量。我们提出了一种模拟框架，利用由数据驱动、基于真实用户行为信号构建的用户画像所条件化的 LLM 智能体来预测 A/B 测试结果。与以往依赖合成或基于规则的用户画像的工作不同，我们的智能体由匿名化行为数据构建——活动模式、参与信号以及推断的人口统计特征——从而实现更忠实的人群建模。我们将 A/B 测试模拟构建为结构化问题任务，并系统研究了 (i) 问题设计格式，(ii) 用户画像数据来源与领域对齐的影响，(iii) 单个用户画像行为深度与人群多样性之间的权衡，以及 (iv) 高效的人群子采样。在涵盖两种指标类型的 40 个 A/B 测试基准上，我们最佳配置根据测试指标不同实现了 0.75–0.80 的方向准确率，表明数据驱动的用户画像是通往快速、低成本实验预筛选的一条可行路径。
| 评论： | 论文已被 EMNLP 2026 Industry Track 和 EMNLP 2026 REALM Workshop 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.01038 [cs.AI] |
| （或 arXiv:2609.01038v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.01038 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Weronika Łajewska 博士 [查看电子邮件]
[v1]
2026年9月1日星期二 10:35:49 UTC（270 KB）
[v2]
2026年10月9日星期五 08:06:46 UTC（269 KB）
来源：arXiv cs.AI · arxiv.org