Wincon 发布 TIS-100 大模型基准测试
热点事件持续更新
Wincon 发布 TIS-100 大模型基准测试
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Wincon Research 让 16 个大模型在编程解谜游戏 TIS-100 上各做一次尝试,共产生 133 个新的帕累托前沿点,其中 18 个直接打破社区纪录。测试覆盖游戏全部 47 道谜题和 8 道社区锦标赛谜题,每道题按难度给 10 至 45 分钟,模型需找出可运行程序并持续优化;只有经新开游戏回放并通过 10 万次测试的点才计入。 测试中未向模型提供社区排行榜。每个计入点的程序以 MIT 许可公开,采用 TIS-100 存档格式,命名与社区排行榜文件一致;Wincon 称强化学习环境与轨迹可向研究团队申请获取。
AI 根据报道生成 · 49 分钟前更新
最新进展11月11日 08:37
Wincon 用 TIS-100 评测 16 个 LLM:产出 133 个新前沿点报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- Hacker NewsWincon 用 TIS-100 评测 16 个 LLM:产出 133 个新前沿点
Wincon Research 让 16 个 LLM 在 TIS-100 的 55 道编程谜题上各做一次尝试,共产生 133 个新帕累托前沿点,其中 18 个直接打破社区纪录。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。