arXiv cs.CY· Yash Dave, Sang T. Truong, Serena Wang, Sanmi Koyejo·· 10 天前AI 评分25
AI 评测生态：基于 GABM 的基准测试留出设计仿真研究
The AI Evaluation Ecosystem
AI 导读
研究提出一种结合规则驱动市场动态与 LLM 驱动策略主体的仿真架构，将基准、消费者需求与提供商能力建模为六维能力空间（推理、编码、知识、安全、沟通、智能体）上的向量。以基准留出设计为案例，发现从公开基准转向私有留出基准在多数基准上缩小了分数与用户满意度的差距，但在少数基准上反而扩大，取决于留出权重如何转移评分。
正文 · AI 翻译
摘要：AI 评估影响着模型提供方、用户、资助方和监管方的决策。我们认为，设计有效的基准需要将设计选择置于这一参与者生态系统的动态之中。我们开发了一种仿真架构，将基于规则的市场动态与 LLM 驱动的策略性参与者相结合，其基础是生成式基于智能体的建模（GABM）的进展。我们将基准、消费者需求和提供方能力建模为六维能力空间（推理、编码、知识、安全、沟通、智能体）上的向量，并在参与者之间进行结构化信息划分。作为案例研究，我们应用这一风格化仿真来探索基准留出设计。我们发现，从公开基准转向私有留出基准会缩小大多数基准上基准分数与用户满意度之间的差距，但会在少数基准上扩大这一差距，这取决于留出权重将评分信用转移到何处。我们依据 Sargent（2013）的 V&V 框架以及 GABM 特定的证据标准，在工具和案例研究两个层面对我们的发现进行了压力测试。除留出设计之外，我们的仿真还是一个用于研究评估者和政策选择如何反过来重塑生态系统的假设生成沙盒。
| Comments: | 70 页，15 张图，23 张表 |
| Subjects: | 人工智能（cs.AI）；计算机与社会（cs.CY） |
| Cite as: | arXiv:2610.09296 [cs.AI] |
| （或 arXiv:2610.09296v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09296 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Yash Satish Dave [查看电子邮件]
[v1]
2026年10月7日星期三 01:58:25 UTC（2,133 KB）
来源：arXiv cs.CY · arxiv.org