Fatigue Index (FI)

新指标量化语言模型的“认知疲劳”

研究人员引入了一个名为疲劳指数（FI）的新指标，用于测量和诊断自回归语言模型中的“认知疲劳”。这种现象以长距离生成过程中性能下降为特征，可能导致文本重复和指令遵循能力丧失。FI 指标不依赖于特定模型且轻量级，它汇集了与提示注意力衰减、表征漂移和熵校准失误相关的信号。在从 1B 到 13B 参数的九个模型上，FI 有效地预测了任务退化和重复现象，揭示了非单调的缩放行为，并确定了加速疲劳发生的因素。