PLaMo 3 Translate 0.8B 模型的新混合量化版本已发布,将其权重大小减少到约 423MB。该版本使用 mlx-lm 0.32.2 转换,为特定层分配 4 位量化,其余层使用 3 位量化,平均每权重 3.804 位。虽然与统一 4 位版本相比,该模型的翻译质量指标略有下降,但在 Mac mini M2 Pro 上仍保持约 352 tokens/s 的解码速度和约 565MB 的峰值内存使用量。 AI
影响 使资源受限的设备能够运行更强大的翻译模型。
排序理由 发布现有 LLM 的更小、量化版本,并附带性能指标。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →