研究人员开发了一种名为Autonomy-of-Heads (AoH) 的新型无数据方法，以提高长上下文大型语言模型 (LLM) 的效率。AoH通过分析查询-键投影的光谱几何结构来识别检索和流式传输的head，这一过程独立于运行时注意力分数。该方法可以将预填充和解码延迟分别降低高达66.0%和41.4%，同时在256K token时将KV缓存内存减少50.0%，并且在50%稀疏度下仍能保留96.5%的完整注意力性能。 AI
影响 该方法可以显著降低长上下文LLM推理的计算成本和延迟，从而实现更广泛的应用和更复杂的场景。
排序理由 该集群包含一篇详细介绍提高LLM效率新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
