OpenESM

OpenESM架构在大规模语言建模中优于GPTs

研究人员推出了一种新颖的大规模语言建模架构OpenESM，该架构将能量引导与令牌生成相结合。该方法在生成令牌之前，在能量景观上优化潜在状态，旨在改进生成过程。OpenESM在海量数据集上进行了预训练，展示了良好的可扩展性，并在26项评估的下游任务中的大多数任务上优于传统的生成式预训练变换器（GPTs）。研究人员已发布模型权重和训练基础设施，以促进进一步的研究和复现。