Dale's law

URCHIN：一种用于数据受限预训练的生物启发式脉冲语言模型

研究人员开发了URCHIN，这是一种新颖的、用于数据受限预训练的脉冲语言模型。与传统模型不同，URCHIN 整合了生物学约束，使用了 leaky integrate-and-fire 神经元和循环侧向连接组。它在 BabyLM 挑战的多个赛道上取得了有竞争力的结果，其最小架构仅包含 128 个神经元和 4.23M 参数，可在 GPU 上实现高效训练，并为边缘部署提供恒定成本的推理。