binary-INT4

新的RaBitQCache框架加速了长上下文LLM推理

研究人员开发了RaBitQCache，一个旨在加速长上下文大语言模型（LLM）推理的新框架。该方法通过采用随机旋转二值化和高效的二值-INT4算术来估计注意力权重，解决了键值（KV）缓存造成的瓶颈。该系统使用无偏代理分数进行自适应检索，根据注意力稀疏性动态调整令牌预算，并包含硬件感知的异步流水线和延迟更新优化。评估表明，RaBitQCache在保持生成质量的同时，显著提高了推理速度并减少了内存I/O。