一位名叫 Vincenzo（也称为 JustVugg）的意大利工程师开发了一个名为 Colibrì 的概念验证模型，该模型能够在一个仅有 25GB RAM 的普通 CPU 上运行一个 1.5TB、7440亿参数的 GLM-5.2 AI 模型。尽管目前的性能极其缓慢，每秒仅为 0.05-0.1 个 token，使其不适用于实时使用，但将模型组件分块加载到 RAM 的方法预示着本地 AI 设置的潜力。这种方法有可能使与 Anthropic 和 OpenAI 相当的高质量 AI 模型能够在消费级硬件上访问。 AI
影响 展示了一种在消费级硬件上运行大型 AI 模型的新颖技术，可能降低本地 AI 设置的门槛。
排序理由 在有限硬件上运行大型 AI 模型的概念验证。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
