amd-gputools

Gemma 4 E2B 在 AMD MI300X 上不同权重格式的性能测试

本文详细介绍了在 AMD Instinct MI300X GPU 上运行 Gemma 4 E2B 语言模型时，不同权重格式的性能比较。作者提供了使用 vLLM 部署十种不同权重格式的详细指南，并对不同请求数量和提示长度下的每种配置进行了计时。结果表明，FP8 是最快的格式，性能与 bfloat16 非常接近，而 INT8 和 4 位格式的输出速度较慢但可能更精确。文章提出了速度与保真度之间的权衡选择，并指出 MI300X 充足的内存容…