PulseAugur
实时 02:52:38
(CA) v0.32.4-rc0: model: add Laguna MLX support (#17237)

Ollama v0.32.4-rc0 添加 Laguna MLX 模型支持并进行性能优化

Ollama 发布了 v0.32.4-rc0 版本,引入了对 Laguna MLX 模型的支持。此次更新包括与 Laguna XS 2XS 2.1S 2.1 变体的兼容性,并在密集层和 MoE 层之间实现了统一的量化策略。该版本通过选择性地量化投影、处理混合精度数据类型以及通过融合操作和缓存的预填充块来优化性能,同时将 Laguna 权重保留在 Metal 上以实现高效的 GPU 访问。 AI

影响 增强了 Ollama 运行各种本地模型的能力,可能改善具有特定硬件配置的用户的可访问性。

排序理由 这是软件工具(Ollama)的发布,增加了对特定模型变体的支持,而不是来自前沿实验室的核心 AI 模型发布。

在 Ollama — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Ollama v0.32.4-rc0 添加 Laguna MLX 模型支持并进行性能优化

报道来源 [1]

  1. Ollama — Releases TIER_1 (CA) · dhiltgen ·

    v0.32.4-rc0: model: 添加 Laguna MLX 支持 (#17237)

    <ul> <li>model: add Laguna MLX support</li> </ul> <p>Add Laguna XS 2, XS 2.1, and S 2.1 support to the MLX model and create paths.</p> <p>Read the source config to apply one quantization policy across dense and routed MoE layers. Keep the tied output head and router at source pre…