Hyper-Spherical Quantization

新的dRAE模型使用超球面量化实现更好的视觉表示离散化

研究人员推出了一种离散表示自编码器dRAE，它利用超球面量化（HSQ）来解决现有方法在离散化高维视觉表示时存在的局限性。传统的量化技术常常遭受码本坍塌的困扰，并且在扩展时难以保持语义一致性。HSQ通过角度路由将语义内容与特征幅度解耦，确保码分配由意义而非尺度驱动。这种方法能够实现高保真重建、语义完整性和可扩展的码本预算，实验表明在各种理解和生成任务中性能显著提升，并实现了码本的充分利用。