一个名为 Janas 的新开源项目,通过高效地从固态硬盘 (SSD) 流式传输模型层,实现了运行超出计算机可用 RAM 的大型语言模型 (LLM)。这项技术使得在消费级硬件上运行比以往更大的模型成为可能。该项目的代码可在 GitHub 上获取。 AI
影响 通过 SSD 流式传输优化内存管理,从而在消费级硬件上运行更大的 LLM。
排序理由 开源项目发布,详细介绍了一种运行大型模型的新技术。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →