PulseAugur
实时 00:04:17
English(EN) Show HN: Maple-Preview – ternary 20B MoE running at 120 tok/s on a iPhone https:// deepgrove.ai/maple-preview # ai # iphone

200亿参数MoE AI模型在iPhone上以120 tokens/秒的速度运行

一款名为Maple-Preview的新AI模型,一个拥有200亿参数的专家混合(MoE)模型,已被演示在iPhone上高效运行。该模型达到了每秒120个token的速度,展示了其在设备端AI处理的能力。 AI

影响 展示了在移动设备上直接运行复杂AI模型日益增长的可行性。

排序理由 演示了一个在消费级硬件上运行的AI模型,而非来自前沿实验室的核心AI发布。

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

200亿参数MoE AI模型在iPhone上以120 tokens/秒的速度运行

报道来源 [1]

  1. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    Show HN:Maple-Preview – ternary 20B MoE 在 iPhone 上以 120 tok/s 运行 https://deepgrove.ai/maple-preview #ai #iphone

    Show HN: Maple-Preview – ternary 20B MoE running at 120 tok/s on a iPhone https:// deepgrove.ai/maple-preview # ai # iphone