RTX A6000

vLLM 加速与 Unsloth 量化在本地 LLM 上的冲突

一位 r/LocalLLaMA 子版块的用户希望结合 vLLM 的速度优势和 Unsloth 的量化能力。与标准的 Llama 实现（每秒 800-1000 个 token）相比，他们在使用 vLLM 时体验到了显著更快的推理速度（每秒 5k-10k 个 token）。然而，由于兼容性错误，他们无法将 Unsloth 的量化模型（特别是 GGUF 格式）与 vLLM 一起使用。