attention entropy

LLM更新可能导致回归；新研究探索预测信号

一项新的研究论文调查了预测大型语言模型（LLM）更新何时可能导致回归（即先前正确的输出变得不正确）的方法。该研究比较了各种信号，包括置信度分数、logit边际和注意力熵，以及跨版本信号，如输出KL散度和表示漂移。研究结果表明，这些信号的有效性高度依赖于特定任务和模型更新，没有单一信号被证明具有普遍优越性。然而，即使置信度指标失效，跨版本信号仍然可以提供信息，这表明对于高风险样本，可以选择性地回退到旧模型版本。