Alison R. Panisson

研究发现LLM评估排名随令牌预算变化

arXiv上的一篇新研究论文探讨了大型语言模型的评估如何受到令牌生成预算的显著影响。研究发现，在3-19%的情况下，随着预算的增加，模型的准确性会下降，并且这些影响因模型而异。在所有测试的基准上，模型排名在不同预算下都会发生逆转，这表明标准评估可能无法准确反映真实性能。研究还强调了模型之间潜在的互补性，并提出一个预算感知的路由系统可以捕捉到部分性能差距。