7.6 GB

LLM基准测试揭示性能传播范围大于模型差距

一项基准测试比较了一个“已发布”的270亿参数模型（压缩至8.7GB）与一个尺寸相似的“挑战者”模型（7.6GB加上一个1.4GB的草稿文件），结果显示性能存在显著差异。尽管权重和设置相同，但在同一任务上的运行产生了不同的结果，挑战者模型在特定检查中有时表现不如已发布模型。研究发现，单个模型内部结果的传播范围比两个模型之间的性能差距更广，根据预定义规则，这导致了平局。