PulseAugur
中
实时 15:02:14
English(EN) Finer is Better (with the Right Scaling)

新的缩放技术解决了大语言模型量化悖论

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇新的arXiv论文研究了大语言模型量化中较小的块大小会降低模型质量的悖论。研究人员发现，这并非固有局限，而是源于统计聚类与缩放因子之间的相互作用。该研究提出了解决方案，例如防止缩放因子下溢，并使用4-over-6方法等有针对性的启发式方法来提高质量，强调了下一代机器学习加速器在硬件和软件设计之间紧密耦合的必要性。 AI

影响 通过解决量化悖论，优化了大语言模型在下一代硬件上的性能，可能提高效率和可访问性。

排序理由 该集群包含一篇详细介绍大语言模型量化研究结果的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Clemens Schaefer, Gil Tabak ·

    Finer is Better (with the Right Scaling)

    arXiv:2605.08565v2 Announce Type: replace Abstract: Microscaling is a critical technique for preserving the quality of Large Language Models (LLMs) quantized to ultra-low precision formats. Intuitively, finer block sizes should yield lower quantization error; however, a paradox r…

相关实体

相关话题