跳到正文
热点事件持续更新

Wincon 发布 TIS-100 大模型基准测试

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Wincon Research 让 16 个大模型在编程解谜游戏 TIS-100 上各做一次尝试,共产生 133 个新的帕累托前沿点,其中 18 个直接打破社区纪录。测试覆盖游戏全部 47 道谜题和 8 道社区锦标赛谜题,每道题按难度给 10 至 45 分钟,模型需找出可运行程序并持续优化;只有经新开游戏回放并通过 10 万次测试的点才计入。 测试中未向模型提供社区排行榜。每个计入点的程序以 MIT 许可公开,采用 TIS-100 存档格式,命名与社区排行榜文件一致;Wincon 称强化学习环境与轨迹可向研究团队申请获取。

AI 根据报道生成 · 49 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. Hacker News
    Wincon 用 TIS-100 评测 16 个 LLM:产出 133 个新前沿点

    Wincon Research 让 16 个 LLM 在 TIS-100 的 55 道编程谜题上各做一次尝试,共产生 133 个新帕累托前沿点,其中 18 个直接打破社区纪录。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。