DeepSeek 发布用于本地AI推理的蒸馏R1模型

DeepSeek 发布了其R1推理模型的六个蒸馏版本，专为在消费级硬件上进行本地AI部署而设计。这些模型源自庞大的671B参数原始模型，体积从1.1GB到43GB不等，并基于Qwen2.5和Llama 3架构构建。最小的变体可以在只有8GB显存的GPU上运行，在数学和编码基准测试中表现出色，可与更大、更旧的模型相媲美。 AI

影响 使先进的推理模型能够在消费级硬件上进行本地推理，从而普及强大的AI能力。

排序理由 发布现有模型的更小、蒸馏版本以供本地部署。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• AIME 2024
• DeepSeek
• RTX 3060
• GPT-3.5
• Llama 3
• MATH-500
• Qwen2.5
• R1
• RTX 3090
• RTX 4090

• 模型发布
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →