zzpanic

zzpanic 发布最终 vLLM-Radiance 版本，优化 GPU 内存

一位用户发布了其 zzpanic vLLM-Radiance 版本的最终修订版，该版本针对单个 R9700 GPU 进行了优化。此次更新包含了一个启动缓存功能，以防止重启时重新编译，以及一个功能性的 kv-offload（用于系统 RAM 和磁盘），包括用于存储效率的内存稀疏化。这些增强功能旨在促进在单显卡上使用长上下文窗口进行多代理操作。