研究人员展示了一个1500亿参数的混合专家（MoE）模型，可以直接从标准开发者笔记本的NVMe存储中流式传输。这种设置绕过了对可用GPU的需求，存储驱动器在不到十一秒的时间内为200个token的生成提供了数据。该实验为运行大型AI模型更快存储的优势设定了一个实际的上限。 AI
影响 展示了在消费级硬件上运行大型模型的潜在途径，减少了对昂贵GPU的依赖。
排序理由 详细介绍运行大型AI模型新方法的学术论文。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
A 150B MoE on a Developer Laptop: An Upper Bound on What Faster Storage Buys You A 150-billion-parameter mixture-of-experts model streamed from NVMe on an ordinary developer laptop with no usable GPU. Across a 200-token generation the drive spent under eleven seconds delivering b…
A 150B MoE on a Developer Laptop: An Upper Bound on What Faster Storage Buys You A 150-billion-parameter mixture-of-experts model streamed from NVMe on an ordinary developer laptop with no usable GPU. Across a 200-token generation the drive spent under eleven seconds delivering b…