VIDRAFT 的 POCKET 35B 模型可在无 GPU 的手机和 PC 上运行

VIDRAFT 发布了 POCKET，这是一个拥有 350 亿参数的混合专家模型，可以使用 llama.cpp 等标准工具在无 GPU 的设备上运行，包括 PC 和手机。这为像 Bonsai 这样需要更强大硬件才能获得可比性能的模型提供了一种替代方案。POCKET 的稀疏架构使其在许多设备上运行的场景中比同等甚至更大尺寸的密集模型更快，通过完全在本地运行来优先考虑隐私和可复现性。 AI

影响 使更强大的 AI 应用能够在个人设备上运行，增强隐私并减少对云基础设施的依赖。

排序理由 该条目描述了一个新模型的发布，重点在于其在消费级硬件上的实际应用和性能，而不是来自主要实验室的前沿模型发布。

在 dev.to — LLM tag 阅读 →

• Apple Inc.
• Bonsai
• Hugging Face
• llama.cpp
• LM Studio
• Metal
• Mixture-of-Experts
• Mlx
• NVIDIA H100
• Ollama
• VIDRAFT

• 模型发布
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →