研究人员开发了一种名为 Direct-P 的新方法，用于优化 Nvidia GB200 等硬件上 4 位浮点 (FP4) 张量核的性能。该方法通过直接将分数映射到 FP4 概率以实现非因果推理，解决了注意力机制中的瓶颈问题，吞吐量最高可达 bfloat16 的 2.13 倍。对于因果推理和训练，另一条路径从量化数据中重建概率并利用 FP8 梯度操作数，在单 GPU 上更新一个 80 亿参数模型时，速度提升了 1.14 倍。 AI
影响 这项研究可能导致在专用硬件上进行更高效的 AI 模型训练和推理，从而可能降低计算成本并提高速度。
排序理由 该集群包含一篇研究论文，详细介绍了一种用于优化 AI 推理和训练的特定硬件浮点运算的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
