PulseAugur
中
实时 12:17:32
English(EN) Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

新的UFP4方法解决了LLM FP4预训练中的收缩偏差问题

作者 PulseAugur 编辑部 · [2 个来源] ·

一篇新研究论文介绍了一种名为UFP4的统一4位训练方法，旨在解决大型语言模型预训练中的收缩偏差问题。研究发现，当前非统一FP4格式（如NVIDIA Blackwell/Rubin和AMD MI350 GPU中使用的E2M1）会引入系统性舍入误差。相比之下，UFP4采用统一网格（E1M2/INT4）来提高量化质量，并在各种模型规模上展示出比现有的基于E2M1的方法更低的损失下降。 AI

影响 这项研究通过改进量化技术，可能带来更高效、更稳定的LLM训练。

排序理由 该集群包含一篇详细介绍LLM预训练新方法的论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的UFP4方法解决了LLM FP4预训练中的收缩偏差问题

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou ·

    Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

    arXiv:2606.20381v1 Announce Type: new Abstract: FP4 training promises substantial reductions in memory and computation cost for LLM pretraining, yet current FP4 hardware paths and recipes, including NVIDIA Blackwell/Rubin-class systems and AMD MI350-series GPUs, remain centered o…

  2. arXiv cs.AI TIER_1 English(EN) · Jun Zhou ·

    Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

    FP4 training promises substantial reductions in memory and computation cost for LLM pretraining, yet current FP4 hardware paths and recipes, including NVIDIA Blackwell/Rubin-class systems and AMD MI350-series GPUs, remain centered on E2M1 data elements. In this study, we identify…

相关实体

相关话题