FreeToken是加州大学伯克利分校开发的一款开源引擎,它允许像拥有7530亿参数的GLM-5.2这样的大型专家混合(MoE)模型在消费级硬件上运行。它通过将个人计算机视为一个统一的弹性推理平台,动态地将计算映射到GPU、CPU和内存上,从而实现这一点。这项创新为在边缘部署前沿规模的AI模型开辟了新的可能性。 AI
影响 使大型AI模型能够在消费级硬件上部署,有可能使前沿AI能力的获取大众化。
排序理由 发布了一款用于在消费级硬件上运行大型AI模型的新型开源引擎。
在 Mastodon — fosstodon.org 阅读 →
- 753 billion parameter model
- elastic inference platform
- FreeToken
- personal machine
- workstation GPU
- 753B parameter models
- GLM-5.2
- graphics processing unit
- marktechpost
- University of California, Berkeley
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →