PulseAugur
中
实时 05:32:09
English(EN) Special Architecture in AFM3 20B: Instruction Following Pruning

Apple 的 AFM3 20B 模型使用指令遵循剪枝以提高效率

作者 PulseAugur 编辑部 · [1 个来源] ·

Apple 为其第三代基础模型 AFM3 20B 开发了一种新架构，该架构采用了一种称为指令遵循剪枝的技术。该方法允许模型为每个提示激活约 20% 的 MLP 层，从而显著降低计算负载。与可能按 token 或层切换专家的传统模型不同，AFM3 20B 将提示路由到特定专家，保持一组核心共享专家始终可用，同时将一小组专家加载到内存中。 AI

影响 这种架构可以通过减少激活参数的使用，从而实现更高效的设备端 AI 处理。

排序理由 该集群描述了一种新颖的模型架构和剪枝技术，符合对高效 AI 模型设计的探索。 [lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Apple 的 AFM3 20B 模型使用指令遵循剪枝以提高效率

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Aaaaaaaaaeeeee ·

    AFM3 20B 中的特殊架构：指令遵循剪枝

    <!-- SC_OFF --><div class="md"><p><a href="https://openreview.net/forum?id=juARG7yu4P">https://openreview.net/forum?id=juARG7yu4P</a></p> <p>This is a model designed to activate ~20% of active MLP layers. It is also an MoE so it has some sparsity built-in. It's trained from scrat…

相关话题