Chenghao Yang

研究：LLM 对齐通过概率集中降低输出多样性

一篇新的研究论文探讨了大型语言模型（LLM）中的对齐如何导致输出多样性降低。该研究引入了分支因子（BF）指标，用于量化生成过程中可能出现的下一个步骤的数量。研究结果表明，BF 随着生成过程的进展通常会降低，这种现象主要归因于自回归自条件化，而非对齐本身。然而，对齐调整从一开始就显著地锐化了输出分布，降低了 BF，并使模型对解码策略不那么敏感。观察到这种效应可以稳定像 DeepSeek 蒸馏版本这样的模型的思维链推理。