S-SALAAD

新框架 S-SALAAD 使在边缘设备上高效推理大模型成为可能

研究人员开发了 S-SALAAD，这是一个旨在提高大语言模型在边缘设备上推理效率的新框架。该框架在训练过程中联合学习模型权重与结构化稀疏和低秩分量。S-SALAAD 整合了硬件兼容的稀疏模式和优化的内核以加速推理，使得单个模型检查点能够适应各种内存预算和硬件平台。在 Llama2 和 Qwen3 模型上的实验表明，与现有方法相比，在困惑度、内存使用和推理延迟方面都有显著改进。