Unsupervised Post-Training

调查论文详述了用于 foundation models 的无监督后训练方法

一篇新的调查论文探讨了无监督后训练（UPT），这是一种使用无标签数据和内部模型构件来适应 foundation models 的方法，而不是使用外部人工标签或预言机。该论文根据学习信号的来源（如预测统计或自生成目标）对 80 种不同的 UPT 方法进行了分类。它还引入了一个框架，通过考虑输入可见性和更新持久性来映射部署模式，旨在指导 UPT 技术​​的选择和评估，并防止递归错误放大。