Self-Conditioning

新的LAW技术实现了语言模型的纯粹自回归

研究人员开发了一种名为LAW（Loopholing All the Way）的新语言建模技术，该技术完全依赖于自回归。该方法在去噪过程中传播预期的嵌入，仅在最后一步解码标记。与现有的扩散模型相比，LAW在数独和迷宫等任务上表现出优越的性能。它在GSM8K基准测试上也显示出显著的改进，并在OpenWebText等大型文本数据集上接近自回归模型的准确率。