Vector Quantization
PulseAugur coverage of Vector Quantization — every cluster mentioning Vector Quantization across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架统一向量量化，提升视觉表示学习效果
研究人员开发了一个新的向量量化（VQ）框架，解决了训练不稳定和码本坍塌等常见问题。提出的分布匹配框架旨在对齐特征向量和码向量的分布，并在理论和实证上证明了其有效性。该方法利用了基于Wasserstein的目标函数，并提供了高效的高斯近似或非参数最大均值差异替代方案，在视觉标记基准测试中表现强劲。
-
新的LLM压缩技术利用了先进的数学和图像适应性
研究人员正在开发先进的大型语言模型（LLM）压缩技术，以降低其计算和存储需求。一篇论文介绍了Leech Lattice Vector Quantization (LLVQ)，该技术利用高维格进行最优球体打包，以实现最先进的压缩性能。另一种方法LACE-SVD使用有损奇异值分解和累积误差校正，在保持模型精度的同时提高压缩率。对于图像压缩，LUMI框架提供了一种与分词器无关的方法，使用冻结的LLM骨干网络，将像素数据适应LLM的嵌入空间，…
-
FORGE 框架使用图嵌入来解决优化问题
研究人员开发了 FORGE 框架，该框架利用图嵌入和向量量化来表示组合优化问题。该方法在各种混合整数规划实例上预训练模型，而无需优化求解器。预训练的嵌入可以对未见的实例进行聚类，并在微调后，提高商业求解器的性能，并在整数差距预测和搜索引导等任务上超越现有的基于学习的方法。
-
新的VQ4SNN架构提高了FPGA脉冲神经网络的内存效率
研究人员开发了VQ4SNN，这是一种新颖的架构，旨在使脉冲神经网络（SNN）在FPGA上部署时更具内存效率。该方法利用向量量化（VQ）来减少存储突触权重所需的显著片上内存，这是边缘AI应用的一个常见瓶颈。VQ4SNN采用两级内存系统，具有共享码本和紧凑指针，能够在不影响推理精度的前提下大幅减少BRAM使用量。
-
新研究推动脉冲神经网络在效率和验证方面的进展
研究人员开发了用于脉冲神经网络（SNN）的新方法，重点是提高其效率和验证能力。一项研究介绍了一种可学习的残差语音到脉冲编码器，该编码器在保持参数效率的同时提高了在 Google Speech Commands v2 基准测试上的准确性。另一项开发 VQ4SNN 利用矢量量化显著降低了在 FPGA 上部署 SNN 的内存需求，使其更适合边缘 AI 应用。此外，还创建了一个用于概率 SNN 的形式化验证工具，采用商抽象来管理状态空间爆炸并…
-
新的RGVQ框架改进了图表示学习
研究人员开发了RGVQ，一个新框架，用于解决图表示学习中向量量化的码本坍塌问题。这个问题限制了图数据表示的表达能力。RGVQ将图拓扑和特征相似性作为正则化信号，使用软分配和结构感知对比正则化来提高码本利用率和令牌多样性。实验表明，RGVQ在各种下游任务中都提高了性能，从而产生了更具可迁移性的图令牌表示。
-
新方法使用向量量化改进多类别校准
研究人员推出了一种用于机器学习模型多类别校准的新方法“Divide et Calibra”。该方法通过使用向量量化构建特定区域的校准图来解决现有技术的局限性。该方法旨在通过学习泛化性良好、即使在稀疏数据区域也能表现良好的异构图来提高高风险应用中的校准准确性。
-
随机哈达玛变换被证明对AI量化有效
研究人员已从数学上证明，在各种AI应用中使用随机哈达玛变换（RHTs）作为统一随机旋转的高效替代方法是有效的。研究表明，组合两个RHTs可以确保单个坐标分布近似高斯分布，在DRIVE和QUIC-FL等方案中可媲美URRs的性能。对于向量量化，需要三个RHTs才能实现衰减的坐标协方差，从而确保与URRs相当的性能。该研究还引入了一种运行时检查，以动态调整使用的RHTs数量，从而优化实际非对抗性输入的性能。