一个拥有 2840 亿参数的模型 DeepSeek-V4 Flash 已成功在无需专用 GPU 的 64GB RAM 笔记本电脑上运行。作者报告的推理速度在每秒 6.4 到 9.7 个 token 之间。这一成就得益于一个名为 Llama-modchip 的工具,该工具在 Apache 2.0 许可下可用。 AI
影响 使得大型模型能够在消费级硬件上本地执行,从而可能提高 AI 应用的可访问性和隐私性。
排序理由 展示了一个大型语言模型在没有 GPU 的消费级硬件上运行。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →