Folkbench

大语言模型“变笨”争议：概率采样 vs. 真实能力下降

评估大型语言模型需要谨慎的方法论，以避免将随机输出误解为模型能力下降的证据。一项常见的测试，“鹈鹕测试”，涉及生成一辆自行车载着鹈鹕的SVG图像，这凸显了大语言模型的概率性本质；单一的成功或失败输出并不能明确表明模型的整体能力。为了准确比较模型，需要一致的参数、共享的基线和动态的、多样化的提示池，而不是依赖可能过时的“杀手级提示”。评分和记录这些测试的过程也很复杂，催生了Folkbench等平台来简化评估过程。