Martin Kailis

研究揭示自回归LLM每个词需要300GB参数加载

Martin Kailis 的一项研究分析了语言模型中自回归token的高昂成本，解释说生成单个词需要为每个token从内存中读取300吉字节的参数。该研究探讨了自回归token为何昂贵，以及JEPA、线性注意力（linear attention）和扩散模型（diffusion models）等替代架构如何挑战这种方法。它还表明，研究实验室正准备为其模型过渡到新的底层技术。