K-SVD

DB-KSVD算法为解耦高维嵌入空间提供了可扩展的方法

研究人员推出了一种新颖的字典学习算法DB-KSVD，旨在解耦大型Transformer模型中的高维嵌入空间。该方法将经典的KSVD算法改编为可高效扩展以处理数百万样本和数千个维度。在Gemma-2-2B和Pythia-160M模型的文本嵌入以及DINOv2模型的图像嵌入上，DB-KSVD的性能与稀疏自编码器相比具有竞争力，这表明传统的优化方法可以有效地扩展以用于可解释性任务。