ELiTeFormer

面向FPGA的新型Transformer架构实现高压缩率

研究人员开发了ELiTeFormer，这是一种新颖的Transformer模型架构，专门为在现场可编程门阵列（FPGA）上高效部署而设计。该架构统一了混合线性注意力与超低精度三元线性投影，实现了显著的模型权重和KV缓存压缩。与部署在硬件上的现有模型（如LLaMA 3）相比，ELiTeFormer在准确性方面具有竞争力，并在延迟和能效方面提供了实质性改进。