Dushyant Singh Chauhan

新的EGLR方法将语言模型推理扩展到随机采样之外

研究人员推出了一种新颖的解码程序——熵门控潜在递归（EGLR），旨在通过扩展传统token级随机性之外的采样空间来增强语言模型的推理能力。EGLR通过在高度不确定的token上递归地重新应用模型的顶层解码器层来引入一个确定性轴，为温度采样创造了一个互补的维度。这种结合方法在指令调整模型和数学推理基准上进行了测试，显著提高了性能，证明了层跨度轴捕获了独特的问题解决能力。