跳到正文
热点事件持续更新

GlobeBench文本世界模型基准发布

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Nicholas Saban等作者提出并发布GlobeBench,一个包含1,632个任务、覆盖五个领域和十九项模拟技能的文本世界模型基准,用于检验模型能否根据完整智能体轨迹预测环境对特定动作的响应。 在20个通用LLM和专用文本世界模型中,GPT-6 Astra任务成功率最高,为49.57%;当动作影响需传播到依赖对象时,20个模型平均成功率降至5.1%,另有631个任务无任何模型解决。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv cs.AI
    GlobeBench:评估文本世界模型的可扩展环境模拟能力

    GlobeBench 是一个包含 1,632 个任务、覆盖五个领域和十九项模拟技能的文本世界模型基准,用于检验模型能否根据完整智能体轨迹预测环境对特定动作的响应。在 20 个通用 LLM 和专用文本世界模型中,GPT-6 Astra 任务成功率最高,为 49.57%;当动作影响需传播到依赖对象时,20 个模型平均成功率降至 5.1%,另有 631 个任务无任何模型解决。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。