Lemonade 发布了 10.8 版本,为本地 AI 模型带来了内存和上下文管理方面的重大改进。此次更新引入了动态 VRAM 管理,可自动卸载空闲模型并调整 KV 缓存大小以优化 GPU 内存,同时根据可用内存和模型架构自动调整上下文大小。该版本还扩展了云卸载功能,允许用户将 OpenAI 兼容提供商与本地模型集成,以提高灵活性。此外,Lemonade 10.8 增强了其 LMX-Omni 图像生成功能,并引入了 MCP 网关,使本地模型能够充当聊天、转录和图像生成等各种任务的工具。 AI
影响 增强了本地 AI 模型在云服务中的可用性和集成性,可能为 AI 开发人员简化工作流程。
排序理由 这是用于集成本地和云 AI 模型的工具的软件更新,而不是核心 AI 模型发布或研究突破。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →