arXiv cs.AI· Ashutosh Srivastava, Siddharth Yedlapati, Vinay Aggarwal, Yaman Kumar Singla, Shashwat Dixit, Jitendra Ajmera, Balaji Krishnamurthy·· 10 天前AI 评分30
大语言模型个性化能力基准测试：SDR-Arena 与 SDR-Bench
Benchmarking the Personalization Capabilities of Large Language Models
AI 导读
研究者提出 SDR-Arena 框架与 SDR-Bench 语料库，用于评测"双方"生成式个性化——即内容需打动独立目标的接收方，覆盖 22 个行业、3500 家企业的 5 万条客户成功案例。
正文 · AI 翻译
摘要：个性化传统上是一个双方问题：发送方选择说什么，而拥有独立目标的接收方决定是否采取行动。一名销售人员在推销同一款分析产品时，对医院会主打 HIPAA 合规，对零售商则主打实时报表，期望不同的论点能分别奏效。现有的 LLM 个性化基准衡量的是一个更狭窄的单方属性：输出是否匹配它所服务的同一用户的偏好——发送方和接收方是同一人，正如 RLHF 将助手对齐到它自己的用户。双方情形更难自动研究，因为它需要将特定内容与观察到的接收方行动联系起来的真实标注。
销售外联提供了这一点：一条为某个潜在客户撰写的消息，会被记录下它是否促成了回复、通话或成交。我们提出 SDR-Arena，一个用于大规模基准测试双方生成式个性化的框架，以及 SDR-Bench，一个包含 22 个行业、3500 家企业共 50,000 个客户成功案例的公开语料库。仅给定结果前信息，智能体必须重建赢得交易的论点，由加权 nugget 召回指标（WCS）评分。最佳模型 Claude Sonnet 4.6 达到 55.8% WCS，表明它只恢复了获胜内容的一半——这是我们在各模型家族中观察到的一个平台期，昂贵的深度研究流程也无法突破。一项消融实验表明原因是检索，而非推理：模型在获得人类研究员会收集的事实时会大幅提升，但仅靠网络搜索很少能找到这些事实。两项与专业 SDR 的研究支持该指标：只有 48% 的生成推介被评为无需编辑即可使用，且 WCS 得出的模型排名与依据独立于任何模型输出撰写的专家策略进行评估的结果一致。
| Subjects: | Artificial Intelligence (cs.AI) |
| 引用为： | arXiv:2607.20471 [cs.AI] |
| （或 arXiv:2607.20471v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.20471 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Siddharth Yedlapati [查看电子邮件]
[v1]
2026年5月23日星期六 18:16:54 UTC（7,253 KB）
[v2]
2026年10月6日星期二 10:05:25 UTC（762 KB）
来源：arXiv cs.AI · arxiv.org