跳到正文
热点事件持续更新

多语言填字基准CulturalCrosswords发布

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Isaac Saxton-Knight 等作者发布多语言填字基准 CulturalCrosswords,用 42 种语言、众包谜语构建的 53 个填字游戏,评测 11 种大模型配置在答案约束下的表现。 在 962 条存在替代答案的线索上,给出长度要求使模型与参考答案的一致率提升 22.8 个百分点;若同时接受替代答案,提升则缩小到 8.4 个百分点。填字输入使所有交叉格答案兼容比例提高 9.7 个百分点,而要求填满整格则暴露出模型间的巨大差异。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. arXiv cs.CL
    CulturalCrosswords:评估答案约束与填格能力的多语言基准

    CulturalCrosswords 用 42 种语言、众包谜语构建的 53 个填字游戏,评测 11 种 LLM 配置在答案约束下的表现。在 962 条存在替代答案的线索上,给出长度要求使模型与参考答案的一致率提升 22.8 个百分点,若同时接受替代答案则仅提升 8.4 个百分点。填字输入使所有交叉格答案兼容比例提高 9.7 个百分点,而要求填满整格则暴露出模型间的巨大差异。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。