实体
BinaryPC
BinaryPC
PulseAugur coverage of BinaryPC — every cluster mentioning BinaryPC across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的BinaryPC方法在无训练情况下提升LLM解码速度
研究人员开发了BinaryPC，一种用于长上下文大语言模型稀疏注意力机制的新型无训练方法。该技术利用二值主成分构建紧凑的二值哈希码和哈希函数，在不进行基于梯度的训练的情况下保留数据结构。实验表明，BinaryPC在保持准确性方面与全注意力机制相当，同时显著优于其他稀疏和基于哈希的方法，在GPU上实现了比FlashAttention高3.56倍的端到端解码吞吐量。
-
BinaryPC 为高效 LLM 解码提供无需训练的稀疏注意力
研究人员开发了 BinaryPC，这是一种新颖的稀疏注意力机制，旨在提高长上下文大型语言模型的效率。这种无需训练的方法使用二值主成分创建紧凑的哈希码，在无需基于梯度的训练的情况下保留结构数据信息。实验表明，BinaryPC 在保持与全注意力相当的准确性的同时，显著优于其他稀疏和基于哈希的方法，在现代 GPU 上与 FlashAttention 相比实现了 3.56 倍的吞吐量提升。