AWSFT

新论文通过贝叶斯视角统一LLM训练方法

一篇新论文提出了一个统一的贝叶斯框架，用于理解各种大型语言模型（LLM）的训练和评估范式，包括监督微调（SFT）、上下文学习（ICL）和KL正则化强化学习（RLHF/RLVR）。所提出的方法将这些方法视为对广义贝叶斯或Gibbs后验的不同类型的投影，区分了权重空间和上下文内投影。这种视角旨在阐明令人费解的经验结果，并为现代推理管道（如DeepSeek-R1和o1风格模型中使用的管道）提供见解。