研究人员开发了新的微缩格式MXFP8和MXFP6,以提高数字广告中使用的推荐和排序(R&R)模型的效率。这些模型对精度损失高度敏感,要求质量保持在与FP16或FP32相比0.01%的误差范围内。新格式能够显著提高推理吞吐量的速度,其中MXFP6相比FP16的速度提升了1.73倍至1.99倍,在单个层上最高可达2.90倍,同时保持了模型质量。 AI
影响 能够在大规模应用(如数字广告)中更快、更高效地部署关键的推荐和排序模型。
排序理由 该集群包含一篇详细介绍AI模型优化新技术的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- AMD MI350X
- arXiv
- Gemmstraße
- half-precision floating-point format
- Hugging Face
- Model A
- Model B
- MXFP6
- MXFP8
- single-precision floating-point format
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →