Meta 的 8160 亿参数 Muse Spark Open 模型现已可在 M5 Ultra Mac Studio 上本地运行。这种本地部署为基于云的推理提供了一种经济高效的替代方案,苹果估计硬件成本为 3 万至 4 万美元,而云服务的每百万 token 成本为 4.25 美元。经济学表明,对于数据敏感的工作负载,在本地运行 AI 推理可能更具优势。 AI
影响 为数据敏感的工作负载实现经济高效的本地 AI 推理,可能减少对云服务提供商的依赖。
排序理由 该集群描述了在特定硬件上部署现有模型的本地化,这属于工具或基础设施类别,而不是新的前沿模型发布。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →