一种新技术已被开发出来，用于解决本地大型语言模型在处理长上下文和跨重启保持状态时的内存限制。该方法涉及将模型存储计算出的内部状态的KV缓存从VRAM卸载到CPU RAM和磁盘。当需要时，使用VRAM中的一个小索引来检索相关的KV块，从而使模型能够访问长达800,000个token的上下文，同时保持VRAM使用量稳定。该系统还允许模型在进程重启后从其存储的状态恢复，有效地充当持久内存。 AI
影响 使本地LLM能够处理更长的上下文并在会话中保留内存，从而可能提高RAG性能和用户体验。
排序理由 这是一个技术研究概念验证，详细介绍了一种管理LLM内存的新颖方法，而不是商业发布或广泛采用的产品。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →