Noam Elata

新方法有望通过稀疏注意力和权重近似加速大语言模型解码

两篇新研究论文提出了加速大语言模型（LLMs）解码过程的方法。第一篇论文介绍了稀疏非对称分组查询注意力（SAGA），它减少了键头的数量，同时保留了更多的价值头以提高效率，实现了2倍以上的加速，且质量损失极小。第二篇论文SpAx通过结合激活稀疏性和权重近似来解决在内存有限的硬件上部署LLMs的挑战，当权重被卸载到CPU内存或闪存时，可以显著加速。