Strata 开发了一种方法,可以将一个拥有 1250 亿参数的专家混合(MoE)模型分布在图形处理单元(GPU)、随机存取存储器(RAM)和固态驱动器(SSD)上。这种方法旨在通过利用不同类型的存储来提高大型模型的可用性。该项目还包括一个 Linux 快速入门指南,并讨论了量化级别对代理工作负载中工具调用的影响。 AI
影响 使得在不太专业的硬件上部署更大的模型成为可能,从而可能降低运行先进 AI 的门槛。
排序理由 该条目描述了一种部署现有 LLM 架构的技术方法,而不是新的模型发布或基础研究。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →