ollamatps.com

42个大语言模型速度基准测试：小型模型通常更快

一个名为ollamatps.com的独立追踪器对42个大语言模型（LLMs）进行了基准测试，以衡量它们的实际响应速度，区分了首次响应时间（TTFT）和每秒令牌数（TPS）。该基准测试由前苹果工程师Anton开发，使用固定的提示和输出上限，并进行持续的重新测试以确保可靠性。结果表明，模型大小与速度无关，小型模型通常优于大型模型，并且首次响应时间存在显著差异，某些模型的速度慢了多达80倍。