PulseAugur
实时 23:44:35

新研究探讨了结构化Hadamard旋转在AI中的局限性

研究人员分析了在处理高维应用时,使用两块结构化Hadamard旋转作为计算成本高昂的均匀随机旋转的近似方法的有效性。虽然研究表明,两块变换的单个坐标可以近似均匀旋转,并具有特定的误差界限,但它也表明,完整的向量分布在全局上并不匹配。这项研究阐明了这些结构化旋转在AI压缩等领域取得经验成功背后的理论基础,同时也突出了它们的局限性。 AI

影响 为AI压缩管道中使用的结构化旋转提供了理论基础,阐明了它们的效用和局限性。

排序理由 这是一篇发表在arXiv上的研究论文,详细介绍了对一种数学技术的理论分析。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新研究探讨了结构化Hadamard旋转在AI中的局限性

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Tomer Zilca, Gal Mendelson ·

    高维空间中通过双块结构Hadamard旋转近似均匀随机旋转

    arXiv:2604.23418v1 Announce Type: new Abstract: Uniform random rotations are a useful primitive in applications such as fast Johnson-Lindenstrauss embeddings, kernel approximation, communication-efficient learning, and recent AI compression pipelines, but they are computationally…