Colibri 项目开发了一种新颖的磁盘流式传输技术，可以在内存有限的消费级硬件上运行大型语言模型，例如 Z.ai 的 GLM-5.2（拥有 7440 亿参数）。该方法将保留在内存中的密集模型主干与按需从高速 NVMe SSD 流式传输的稀疏专家层分开。虽然初始性能较慢，但随着常用专家被缓存到内存中，吞吐量会显著提高，使其适用于批处理和长时任务。 AI
影响 使得在性能较低的硬件上运行非常大的语言模型成为可能，从而可能降低高级人工智能应用的入门门槛。
排序理由 该项目描述了一种在消费级硬件上运行大型模型的技术方法和软件工具，而不是新模型发布或主要实验室的前沿研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
