model speed

LLM速度基准测试被批评误导实际性能

最近的一项分析认为，常见的LLM速度基准测试具有误导性，因为它们未能考虑到诸如负载大小、输出格式和解码约束等关键因素。这些基准测试通常只提供一个速度指标，并不能反映实际生产工作负载，因为实际工作负载在token数量和格式要求方面可能存在显著差异。作者强调，不同的模型架构针对不同的用例进行了优化，例如短输出延迟与长输出吞吐量，因此一刀切的基准测试对于为特定应用程序选择最佳模型是不准确的。