一台10年前的Intel Xeon E5-2680 v4处理器，成本不到20美元，可以运行一个260亿参数的模型。这是通过一种称为“内存映射张量并行”（MTP）的技术实现的，该技术将模型权重卸载到RAM而不是GPU显存。这种方法可以在旧的、性能较低的硬件上实现高效推理，使大型模型更容易获得。 AI
影响 使在低成本、旧硬件上运行大型AI模型成为可能，从而普及了先进AI功能的使用。
排序理由 该集群描述了一种在旧硬件上运行大型AI模型的新技术，这是AI高效部署领域的一项研究级进展。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →