Ollama 发布了 v0.32.4-rc0 版本,引入了对 Laguna MLX 模型的支持。此次更新包括与 Laguna XS 2、XS 2.1 和 S 2.1 变体的兼容性,并在密集层和 MoE 层之间实现了统一的量化策略。该版本通过选择性地量化投影、处理混合精度数据类型以及通过融合操作和缓存的预填充块来优化性能,同时将 Laguna 权重保留在 Metal 上以实现高效的 GPU 访问。 AI
影响 增强了 Ollama 运行各种本地模型的能力,可能改善具有特定硬件配置的用户的可访问性。
排序理由 这是软件工具(Ollama)的发布,增加了对特定模型变体的支持,而不是来自前沿实验室的核心 AI 模型发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →