Pointwise Negative Log-Likelihood

新研究详细说明了条件流匹配何时可以取代AI模型训练中的NLL

一篇新论文探讨了在无似然训练AI模型时，条件流匹配（CFM）可以准确取代逐点负对数似然（NLL）的条件。该研究将端点NLL分解为几个组成部分，揭示了仅CFM估计量及其差值仅在特定残差相互抵消时才是精确的。虽然CFM通常不是逐点NLL估计量，但某些加权方案可以消除内部残差。研究结果表明，即使在端点定律相同或优化后，策略内对数比率仍可能表现出偏差，尽管实验表明不精确的比率仍然有用。