tok/s

LLM 的 GPU 性能：寻求社区数据以揭示实际的 token/sec 速率

dev.to 上的一篇博文正在寻求社区的输入，以确定 GPU 在运行大型语言模型时的实际性能。作者解释说，虽然规格表提供了理论带宽，但由于内存控制器限制和内核效率低下等因素，实际性能或“eta”通常较低。该帖子要求读者使用 llama.cpp 运行特定命令，并分享他们的 GPU 型号、使用的模型和量化以及生成的 tokens per second，以帮助构建实际性能指标表。