Brasilidade：面向大语言模型的巴西身份认同评测基准

Brasilidade: Measuring Brazilian Identity for Large Language Models

AI 导读

研究者推出 Brasilidade 基准，用于评估 LLM 在巴西葡萄牙语上的表现，并已开放首个领域的任务，覆盖语言细微差别、语法与巴西葡萄牙语变体。结果显示模型规模本身并不决定表现，多个中等规模模型在评测中超过更大模型；针对葡萄牙语专门训练的模型总体也未达到平均水平。不同任务难度差异显著，部分任务对多数模型很容易，另一些则构成极端挑战。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：本工作提出了一项新基准，旨在解决当前用于评估巴西葡萄牙语 LLMs 的方法的局限性。我们引入了 Brasilidade，一种评估方法，由分布在四个不同领域的标准化任务组成，并且我们正在公开其第一个领域的任务，这些任务涉及巴西葡萄牙语的语言、语法和变体的细微差别。结果表明，模型规模本身并不决定性能；在评估的协议中，若干中等规模的模型表现优于更大的模型。针对葡萄牙语的特定模型总体上并未表现出高于平均水平的性能，尽管它们进行了有针对性的训练。不同的任务层级揭示了显著的细微差别：一些任务对大多数模型来说很容易，而另一些任务则带来了极端挑战，还有一些任务产生了混合结果，性能差异很大。这清楚地说明了需要能够解决模型在巴西葡萄牙语方面局限性的基准，使未来的训练周期能够寻求克服这些局限性。项目仓库此 https URL

主题：	计算与语言 (cs.CL)；人工智能 (cs.AI)
引用为：	arXiv:2611.12906 [cs.CL]
	（或 arXiv:2611.12906v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.12906 由 DataCite 颁发的 arXiv DOI

提交历史

来自：William Alberto Cruz Castañeda PhD [查看电子邮件]
[v1] 2026年10月15日星期四 02:14:13 UTC（4,237 KB）

来源：arXiv cs.CL · arxiv.org