arXiv·· 12 天前AI 评分31
TasteVal:衡量 AI 系统实验研究品味、对标人类专家
TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts
AI 导读
研究者提出 TasteVal,一个评估前沿模型实验研究品味的 benchmark,将研究品味定义为挑选有趣问题、设计实验并解读结果的能力。TasteVal 聚焦实验环节,把实验研究品味操作化为算力效率:在固定研究问题上,衡量模型迭代设计实验并从结果中得出结论的能力,若达到与人类专家相同分数所用串行实验更少则更优。
来源:arXiv · arxiv.org