新的CurveFP数据类型有望降低语言模型的成本并提高性能

研究人员推出了一种新颖的低精度数据类型系列CurveFP，旨在降低语言模型的成本。CurveFP通过一个闭合乘积码本来优化标量保真度和乘积引起的算术，该码本将量化幅度分布在对数曲线上。这种方法将乘积形成简化为精确的符号XOR和整数索引更新，从而在训练和部署中实现更好的数值行为和效率。 AI

影响 引入了一种新颖的数据类型，有望降低训练和部署大型语言模型的计算成本并提高效率。

排序理由 该集群包含一篇详细介绍语言模型新数据类型的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• bfloat16
• CurveFP
• E3C3
• E4C3
• E5C2
• Fp8
• Hugging Face
• Language Models
• PG19
• WikiText-103

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →