Prior-Fitted Language Model

新AI模型无需先验文本即可学会学习语言

研究人员开发了先验拟合语言模型（PFLM），这是一个拥有3亿参数、在合成的非语言数据上训练的模型。该模型在训练过程中从未接触过真实语言，但能够通过冻结权重，从给定的文本前缀中推断和预测语言规则。PFLM展现出令人印象深刻的能力，在维基百科的多语言数据上实现了低比特每字节（bits per byte），甚至在给定数字序列时，还能学会计数、比较大小和执行加法运算。