TeLLMe-v2

DeltaLLM框架通过新颖的注意力优化加速边缘LLM

研究人员开发了DeltaLLM，一个旨在加速大型语言模型（LLM）在边缘设备上性能的新框架。这种无需训练的方法专注于优化注意力机制，这是LLM的一个主要瓶颈，尤其是在处理长提示时。DeltaLLM采用了新颖的K-only delta注意力公式和向量化稀疏softmax来提高效率，在精度损失极小的情况下实现了显著的稀疏性。在特定模型和硬件上的评估表明，其速度显著提升且资源消耗降低，使其适合高效的边缘LLM部署。