Ian Magnusson

新的 COUNT 方法使用主机内存增强语言模型

研究人员推出了一种新颖的 COUNT（Counting Offline Unlocks N-gram Transformers）方法，用于提高语言模型的性能和效率。COUNT 利用预先计算的主机系统上存储的 N-gram 计数，无需昂贵的 GPU 内存即可从头开始训练嵌入。这种方法可以改善验证损失，与计算量大得多的模型相当，并能够在推理时进行任务适应，而无需重新训练。