Yehan Yang

新的Autonomy-of-Heads方法在无需数据的情况下提高了LLM效率

研究人员开发了一种名为Autonomy-of-Heads (AoH) 的新型无数据方法，以提高长上下文大型语言模型 (LLM) 的效率。AoH通过分析查询-键投影的光谱几何结构来识别检索和流式传输的head，这一过程独立于运行时注意力分数。该方法可以将预填充和解码延迟分别降低高达66.0%和41.4%，同时在256K token时将KV缓存内存减少50.0%，并且在50%稀疏度下仍能保留96.5%的完整注意力性能。