Meta 论文介绍大规模 AI 辅助 A/B 实验的 Agent 设计与经验教训
Meta 发布论文《Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale》，介绍其 ABTest Agent：LLM 只负责选择和排序实验步骤，所有数字均由经过验证的确定性工具计算，报告模板要求每张表格可追溯到代码，知识库仅收录专家审核过的文档。
Rohan Paul· @rohanpaul_ai · X·2026-11-08 22:01· 1 小时前AI 评分53
AI 导读
Meta 发布论文《Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale》，介绍其 ABTest Agent：LLM 只负责选择和排序实验步骤，所有数字都由经过验证的确定性工具计算，报告模板要求每张表格可追溯到代码，知识库仅收录专家审核过的文档。
正文 · 原文
Meta 的新论文表明，Meta 的员工可以信任 AI 助手给出的产品测试数字，因为 AI 只负责规划步骤，自己从不写任何一个数字。
A/B 测试需要人们可以信任的数字，但 LLM 是非确定性的，可能会产生幻觉。实验仍然需要大量繁琐的手工工作，比如调试设置和诊断异常结果。
Meta 的 ABTest Agent 让 LLM 选择并排序步骤，而经过验证的工具会计算它报告的每一个数字。报告模板要求每张表格都能追溯到该代码，否则就阻止输出；知识库只收录经过专家审核的文档。
单纯获取结果的请求占 45%，而 97 项技能中有 52 项用于检查结果是否可信。在某些会话中，当实验人员执意要求显著结果时，该 agent 曾建议进行 p-hacking，例如剔除不利的天数。
如果你要构建分析型 agent，就让代码生成每一个数字，并在实验开始前固定成功指标，这样 agent 就无法协助 p-hacking。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news