Show HN：Jevman 让 AI 决策模型玩 Pac-Man 并排名

其中六个模型各与街机幽灵对战了 100 局。看看它们的排名，观看它们的对局，或亲自与它们对战。

jev 1.130 最高分0 幽灵经典

观看

排行榜

每个模型与经典幽灵对战 100 局。

=1 表示并列：这些分数在彼此的误差范围内。

用你自己的模型进行基准测试

jevman 是开源的，任何位于 HTTP 端点之后的模型都可以参与：托管模型、微调模型或在你笔记本电脑上运行的模型。

1. 01

   将你的模型置于端点之后

   在每个路口，游戏都会以 JSON 形式发送迷宫并请求一个方向，如果你的模型有概率信息也会一并提供。仓库中有一个 34 行的示例端点可供起步。

2. 02

   运行基准测试

   一条命令即可按排行榜的规则进行对局：实时，每个回答 2 秒，经典幽灵，三条命或 5 分钟。

3. 03

   发送拉取请求

   CI 会回放你提交的每一局并检查其分数。你的模型随后会以自报成绩加入排行榜。

方法

对局

每个模型都与经典脚本幽灵对战了 100 局，每局直到失去全部三条命为止。对局上限为 5 分钟，以确保每次运行都会结束，但没有一局接近上限：最长的一局持续了 2 分 24 秒。

决策

在每个路口，游戏都会向模型提出一个问题，以迷宫、豆子和幽灵作为状态。模型返回每个方向的概率，吃豆人据此做出选择。

截止时间

耗时超过 2 秒的回答会被一个简单的备用规则取代，并计入备用移动。

分数

排名使用平均分，并带有 95% 的误差范围（±2 个标准误），彼此在误差范围内的模型视为并列。最高分是模型单局的最佳成绩。

检查

每一局都会被记录并可精确回放，因此任何结果都可以核查。