一位用户已成功从 Gemma 26B-A4B 模型中移除了 85% 的权重，将其大小减小到原来的 15%，同时在特定的分类任务上保持了高性能。这个显著缩小后的模型，现在拥有 3.81B 参数，占用 3.8 GB 内存，在该狭窄任务上与原模型的一致性达到 92%，使其适用于内存和能耗至关重要的设备端应用。用户采用了一种为每层选择固定专家集合的方法，有效地使混合专家模型变得密集，并在自定义数据上进行训练，以优化特定的思考过程而非通用知识。 AI
影响 展示了对设备端 AI 进行显著模型压缩的潜力，提高了效率和可访问性。
排序理由 用户为特定应用驱动修改现有模型。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
