Bochen Lyu

研究：RL和SFT以不同方式教会Transformer布尔函数

一篇新的研究论文探讨了Transformer如何学习稀疏布尔函数，比较了具有过程奖励的强化学习（RL）和监督微调（SFT）的不同机制。该研究确定了Transformer可证明地学习这些函数的条件，并为k-PARITY、k-AND和k-OR函数进行了论证。关键发现表明，RL同时学习整个推理链，而SFT则逐步学习，从而深入了解这些微调方法的潜在学习动态。