一个名为 FreeToken 的新服务系统已被开发出来，以支持大型专家混合（MoE）模型在个人设备上的高效运行。该系统动态适应异构本地硬件，优化计算和模型状态，以持续映射到可用资源。FreeToken 支持广泛的 MoE 模型和代理工作负载，允许在消费级硬件上部署明显更大的模型，例如在单个工作站 GPU 上运行 753B 模型。 AI
影响 使大型 AI 模型能在个人硬件上运行，从而普及先进的 AI 功能。
排序理由 发布详细介绍新服务系统的论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
