研究者发布巴西葡语LLM评测基准Brasilidade

研究者 José Roberto Homeli da Silva 等人发布 Brasilidade 基准，用于评估大语言模型在巴西葡萄牙语上的表现，并已开放首个领域的任务，覆盖语言细微差别、语法与巴西葡语变体。 评测结果显示，模型规模本身并不决定表现，多个中等规模模型超过更大模型；针对葡萄牙语专门训练的模型总体也未达到平均水平。不同任务难度差异显著，部分任务对多数模型很容易，另一些则构成极端挑战。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。