研究比较自然语言与代码训练对模型脑对齐几何的影响

Iñigo Parra 提交的一项研究比较了自然语言与代码训练对 GPT-2-small 模型脑对齐几何的影响，结论是自然语言训练而非代码抽象塑造更接近大脑的表示几何。研究训练了 25 个 GPT-2-small 模型，语料包括 TinyStories、Python、C 函数、x86-64 汇编及对应机器码，并用共享分词器和编码流程对照匹配的随机权重模型打分。自然语言训练模型的大脑对齐分数显著高于代码训练模型。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。