AirLLM 大幅降低 LLM 内存需求，Kimi K3 可在 4GB GPU 上运行

AirLLM 发布了更新，显著降低了运行大型语言模型的内存需求，使得强大的模型能够在消费级硬件上运行。最新支持的模型包括 Qwen3.8-27B，仅需 3.33GB 的 VRAM；以及 Kimi K3 (2.8T)，这是迄今为止最大的开源模型，可在 4GB 以下的 VRAM 上运行。这些进步是通过每专家流式传输等技术实现的，例如，DeepSeek-V3 (671B) 模型可在约 12GB 的 VRAM 上运行。 AI

影响 使低规格硬件能够运行大型语言模型，从而普及了先进的 AI 功能。

排序理由 这是对改进推理效率的工具的更新，而不是新的前沿模型发布或重大的行业事件。

在 r/LocalLLaMA 阅读 →

• AirLLM
• DeepSeek-V3
• Gemma
• Kimi k3
• Llama 3.1
• Phi-4
• Qwen2.5
• Qwen3
• Qwen3.8-27B

• 基础设施
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →