Tuckute2024

自然语言训练在与大脑对齐的几何结构方面优于代码训练的语言模型

一项发表在arXiv上的新研究调查了使用代码训练语言模型是否能复制通过自然语言训练所实现的与大脑对齐的几何结构。研究人员使用包括TinyStories（自然语言）、Python、C++和汇编代码在内的各种数据集训练了GPT-2 small模型。结果表明，在Pereira-243等特定基准测试中，TinyStories训练在实现与大脑对齐的表示方面显著优于代码训练，这表明自然语言对于开发与神经数据密切对应的独特表示几何至关重要。