Sergey V Smirnov

AI 工程师详解本地 LLM 硬件计算挑战

一位 AI 工程师详细介绍了准确计算本地 LLM 部署硬件需求的挑战。使用流行的计算器对两块 RTX Pro 6000 Blackwell GPU 上的 GPT-OSS-120B 模型进行的初步估计预测为 5000 tokens/sec，但实际性能慢了五倍。文章解释了如何正确评估 LLM 的资源需求，尤其是在使用非标准硬件时，并描述了一个严格的测试过程，为客户提供可靠的性能保证。