Shuchen Xue

新研究将大语言模型视为掩码扩散模型，以实现更快的推理速度

研究人员提出了一种将大语言模型（LLMs）视为掩码扩散模型（MDMs）的新方法来扩展LLMs。这种方法将建模选择与架构差异解耦，从而能够更公平地比较标准的自回归（AR）方法和MDMs。研究表明，仅解码器的MDMs可以实现显著的推理速度提升，大约快25倍，同时保持与AR模型相当的困惑度。这项研究通过将核心建模决策与架构影响分离开来，为开发更具计算效率的基础模型提供了一条潜在途径。