A100 80GB PCIe

RTX 3090 对比 A100：GPU 成本取决于 AI 模型响应速度

对使用 vLLM 运行 7B 参数模型时 RTX 3090 和 A100 GPU 的性能比较显示，成本效益取决于所需的响应速度和并发请求负载。虽然在较低负载和较长响应时间内，RTX 3090 的每输出 token 成本更低，但即使在高并发负载下，当需要更快的响应时间时，A100 的成本效益也显著提高。分析强调，仅仅比较每小时租金价格不足以确定最佳 GPU，还必须考虑吞吐量和延迟要求。