PulseAugur
中
实时 09:24:55
English(EN) Entropy-Constrained Adaptive Stochastic Quantization

新的ECASQ方法优化机器学习工作负载的数据量化

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新方法——熵约束自适应随机量化（ECASQ），该方法通过同时考虑均方误差（MSE）和熵编码来优化数据量化。此方法旨在减少机器学习工作负载中的通信和内存瓶颈，例如模型和梯度压缩。ECASQ在熵预算和无偏约束下联合选择自适应量化值以最小化MSE，提供了最优的动态规划解决方案以及具有性能保证的GPU友好型近似方法。 AI

影响 这项研究可能带来更高效的大型机器学习模型和数据的存储与传输。

排序理由 该集群包含一篇详细介绍数据量化新算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的ECASQ方法优化机器学习工作负载的数据量化

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Ran Ben Basat, Yaniv Ben-Itzhak, Michael Mitzenmacher, Shay Vargaftik ·

    熵约束自适应随机量化

    arXiv:2608.18147v1 Announce Type: cross Abstract: Adaptive stochastic quantization (ASQ) is a recently introduced quantization approach that optimizes the Mean Squared Error (MSE) for a given input while preserving unbiasedness. It is designed to alleviate the communication and m…

相关实体

相关话题