Wei et al. 2022

LLM涌现能力可能是指标伪影，而非模型飞跃

一项近期分析表明，大型语言模型中观察到的许多“涌现能力”可能源于所用评估指标的伪影，而非模型能力的真正、突然的转变。研究人员提出，一个平滑的、潜在的技能函数驱动着模型性能，但像精确匹配这样的严苛的“全有或全无”指标，可能会在模型规模增加时制造出能力突然飞跃的错觉。该研究主张在精确匹配的同时使用连续指标，以更准确地理解模型规模的增长，并更好地预测新能力，尤其是在安全方面。