Crate

新的Transformer架构优化自监督学习

研究人员通过将LeJEPA自监督学习框架与优化算法相结合，开发了一种仅注意力白盒Transformer模型。该方法优化了稀疏率降低目标，从而形成了一种仅注意力的架构，无需ISTA结构或MLP层。该模型在CIFAR-10和CIFAR-100数据集上实现了具有竞争力的分类精度，同时显著减少了参数数量。对标准ViTs的进一步研究表明，MLP模块可能是多余的，因为在知识蒸馏下用ReLU激活替换它们也可以减少参数而不会牺牲精度。