Nemotron-Diffusion-8B

研究发现语言模型可在推理过程中学习

一篇新的研究论文探讨了语言模型在推理过程中学习的概念，这一过程被称为动态评估。研究发现，当标准 softmax-attention 模型在文本块上执行梯度步骤时，其下一个 token 损失显著降低，并且在长上下文基准测试中优于冻结模型。然而，这种适应性主要提高了风格和词汇回忆能力，而非事实检索能力。对于掩码扩散模型，适应性更为明显，带来了实质性的提升。研究还表明，通过将模型自身的结论条件判断蒸馏到一个低秩适配器中，在 GSM8K 等任…