MiniCPM-1B

新方法将LLM KV缓存卸载到RAM，以实现长上下文和持久内存

一种新技术已被开发出来，用于解决本地大型语言模型在处理长上下文和跨重启保持状态时的内存限制。该方法涉及将模型存储计算出的内部状态的KV缓存从VRAM卸载到CPU RAM和磁盘。当需要时，使用VRAM中的一个小索引来检索相关的KV块，从而使模型能够访问长达800,000个token的上下文，同时保持VRAM使用量稳定。该系统还允许模型在进程重启后从其存储的状态恢复，有效地充当持久内存。