多语言填字基准CulturalCrosswords发布
热点事件持续更新
多语言填字基准CulturalCrosswords发布
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Isaac Saxton-Knight 等作者发布多语言填字基准 CulturalCrosswords,用 42 种语言、众包谜语构建的 53 个填字游戏,评测 11 种大模型配置在答案约束下的表现。 在 962 条存在替代答案的线索上,给出长度要求使模型与参考答案的一致率提升 22.8 个百分点;若同时接受替代答案,提升则缩小到 8.4 个百分点。填字输入使所有交叉格答案兼容比例提高 9.7 个百分点,而要求填满整格则暴露出模型间的巨大差异。
AI 根据报道生成 · 53 分钟前更新
最新进展11月11日 13:00
CulturalCrosswords:评估答案约束与填格能力的多语言基准报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- arXiv cs.CLCulturalCrosswords:评估答案约束与填格能力的多语言基准
CulturalCrosswords 用 42 种语言、众包谜语构建的 53 个填字游戏,评测 11 种 LLM 配置在答案约束下的表现。在 962 条存在替代答案的线索上,给出长度要求使模型与参考答案的一致率提升 22.8 个百分点,若同时接受替代答案则仅提升 8.4 个百分点。填字输入使所有交叉格答案兼容比例提高 9.7 个百分点,而要求填满整格则暴露出模型间的巨大差异。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。