BinaryPC

新的BinaryPC方法在无训练情况下提升LLM解码速度

研究人员开发了BinaryPC，一种用于长上下文大语言模型稀疏注意力机制的新型无训练方法。该技术利用二值主成分构建紧凑的二值哈希码和哈希函数，在不进行基于梯度的训练的情况下保留数据结构。实验表明，BinaryPC在保持准确性方面与全注意力机制相当，同时显著优于其他稀疏和基于哈希的方法，在GPU上实现了比FlashAttention高3.56倍的端到端解码吞吐量。