llama-manager

新工具支持动态模型重配置以提升 AI 性能

新开发的 llama-manager 工具允许动态重配置模型，专门解决了 vanilla llama.cpp 中静态配置的限制。该包装器使用户能够在不丢失现有 kv 缓存的情况下，在中途调整推断参数，如投机解码、mmproj 和上下文级别。该工具旨在通过将 kv 缓存量化推迟到绝对必要时才进行，从而提高模型质量，使用户能够在 VRAM 有限的硬件上最大化上下文长度和性能。