WarpState

开发者从头开始训练了1.5亿参数非Transformer语言模型

一位独立开发者创建了一种名为WarpState的新语言模型架构，拥有1.5013亿个参数，并在约3亿个英文token上进行了训练。该模型通过在128个token的块内使用局部分块注意力（local tiled attention）和双快/慢张量内存系统来保留长序列信息，从而偏离了标准的Transformer架构。开发者在笔记本电脑GPU上训练了这个实验性模型，突显了其高效计算的潜力。