一个开源项目已开发出来，为 Hugging Face 大型语言模型（LLM）实现滑动窗口注意力机制（SWA），旨在降低长上下文推理期间的 KV 缓存内存成本。该实现包括注意力汇聚标记（attention sink tokens）、有界近期标记窗口（bounded recent-token window）和 KV 缓存的循环缓冲区（circular buffer）等功能。使用 Qwen2.5-7B 的初步实验显示，内存节省显著，KV 缓存大小从全注意力下的 1.84 GB 减少到 SWA 大约 3.5 MB，同时保持了解码延迟，并使得在通常会导致内存不足错误的上下文长度下进行推理成为可能。该项目寻求关于工程权衡和与各种 LLM 架构兼容性的反馈。 AI
影响 降低了长上下文 LLM 推理的 KV 缓存内存成本，有可能在消费级硬件上运行更大的模型或支持更长的上下文。
排序理由 这是对现有 LLM 的注意力机制的开源实现，并非新的模型发布或核心研究论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
