Docker Model Runner
PulseAugur coverage of Docker Model Runner — every cluster mentioning Docker Model Runner across labs, papers, and developer communities, ranked by signal.
- 2026-05-13 product_launch Docker integrated Model Runner into Docker Desktop, simplifying local AI development. 来源
7 天有情绪数据
-
AngelSlim/Hy4-flash-GGUF 模型在 Hugging Face 上发布,支持广泛集成
AngelSlim/Hy4-flash-GGUF 模型现已在 Hugging Face 上可用,为用户提供各种集成选项。它可以与 llama.cpp、Ollama 和 Docker Model Runner 等流行工具一起使用,并提供设置和推理说明。该模型还支持与 Unsloth Desktop、Raspberry Pi 和 Lemonade 等应用程序集成,为本地 AI 部署实现多样化的用例。
-
Edge0/Edge0-145B-q3k 模型现已兼容 llama.cpp、vLLM、Ollama 等
Edge0/Edge0-145B-q3k 模型现已可用于各种推理工具和平台。提供了将其与 llama.cpp、vLLM 和 Ollama 等流行库以及 Raspberry Pi、Docker Model Runner、Lemonade 和 Hermes Agent 等本地应用程序集成的说明。这些指南详细介绍了服务器端推理和直接终端使用的设置过程,使用户能够在不同环境中利用该模型。
-
Edge0/Edge0-145B-NVFP4 模型在 Hugging Face 上发布,提供广泛的集成支持
Edge0/Edge0-145B-NVFP4 模型现已在 Hugging Face 上提供,为用户提供了与各种推理工具集成的详细说明。这些工具包括 llama.cpp、vLLM 和 Ollama 等流行选项,以及 Raspberry Pi、Docker Model Runner、Lemonade 和 Hermes Agent 等特定应用程序。该模型与 OpenAI 兼容的 API 的兼容性得到了强调,便于在各种本地和云部署中使用。
-
Scantist/GLM-5.3-SLIM-GGUF 模型现已兼容 llama.cpp, vLLM, Ollama
Scantist/GLM-5.3-SLIM-GGUF 模型现已可用于各种流行的工具和库。提供了与 llama.cpp, vLLM 和 Ollama 等推理提供商以及 LM Studio, Jan 和 Docker Model Runner 等本地应用程序集成的说明。该模型还可以在 Google Colab 和 Kaggle 等笔记本环境以及 Raspberry Pi 等设备上使用。
-
CCore 发布 GLB-3D-Coder 4B 模型用于 3D 资产生成
CCore GLB-3D-Coder 4B 模型,是 Qwen3.5-4B 的微调版本,已发布完整的 Safetensors 权重。该模型旨在生成可复用的 3D 资产,创建完整的 Three.js HTML 场景,可导出到各种 3D 工具。它支持生成角色、建筑和动画等多样化资产,并提供 GGUF 和完整权重等多种格式。
-
LiquidAI 发布 LFM3-Omni-2B 和 LFM3-1.7B-Base 模型以支持本地推理
LiquidAI 发布了两款新模型:LFM3-Omni-2B 和 LFM3-1.7B-Base,旨在为各种设备上的高效本地推理而设计。LFM3-Omni-2B 是一款全模态模型,能够处理文本、图像、视频和音频;而 LFM3-1.7B-Base 是一款专注于文本的模型,针对边缘设备和微调进行了优化。两款模型都提供了与 llama.cpp、Ollama、vLLM 和 Hugging Face Transformers 等流行工具及库集成的详细说明。
-
Docker Model Runner 将本地LLM引入Docker引擎
Docker推出了一项名为Docker Model Runner的新功能,允许用户在Docker引擎内部本地运行大型语言模型。此功能无需调用外部服务API,为AI代理提供了免费且离线的解决方案。该运行器支持GGUF等多种模型格式,并兼容OpenAI、Anthropic和Ollama API格式,便于与现有工具集成。
-
LiquidAI 发布 LFM3-1.7B-GGUF 模型,支持广泛集成
LiquidAI 发布了其 LFM3-1.7B-GGUF 模型,并提供了与各种流行 AI 工具和平台集成的详细说明。该模型兼容 llama.cpp、vLLM 和 Ollama 等推理提供商,并可与 Hugging Face、LM Studio、Jan 和 Docker Model Runner 等应用程序一起使用。此次发布还包括在树莓派等性能较低的硬件上以及通过 Pi 和 Lemonade 等特定应用程序运行该模型的指导。
-
MiniMax 发布 428B 编码模型,但自托管成本依然高昂
MiniMax 发布了其 428B 参数的编码和代理模型 M3.1 Flash 的开放权重。该模型拥有百万级 token 的上下文窗口和多模态输入能力,目标是编码和 AI 代理任务。然而,自托管所需的高昂硬件要求,估计基本设置成本约为 16,000 美元,这意味着尽管该模型是开放权重的,但大多数用户可能会选择 API 服务。
-
百度发布ERNIE-5.5-Flash-Base,一个拥有2800亿参数、1M上下文的MoE模型 · 追踪8个来源
百度发布了ERNIE-5.5-Flash-Base,一个拥有2800亿总参数和每token 140亿激活参数的大型开源混合专家(MoE)模型。该模型在33.5万亿token上进行了预训练,支持100万token的上下文窗口用于微调和推理。百度发布了原始的预训练检查点,没有进行进一步微调,允许开发者将其适配到各种应用中。该模型的架构强调效率,拥有专门的注意力机制和优化的MoE层,旨在降低延迟和内存使用,尤其是在现代GPU上。
-
Docker Agent 插件简化了无需编码的 AI 代理部署
Docker Agent 是 Docker CLI 的一个新插件,允许用户在不编写代码的情况下创建和运行 AI 代理。这些代理可以协同工作来解决复杂问题,并具有集成检索增强生成 (RAG) 等功能,并支持包括 OpenAI、Anthropic、Gemini 和 Mistral 在内的多种 AI 模型。该工具通过 YAML 配置文件简化了 AI 代理的部署。
-
vLLM 指南涵盖兼容 OpenAI 的 API、Docker 部署和 Ollama 对比
本指南详细介绍了如何使用 vLLM(一个高吞吐量 LLM 服务框架)安装和部署模型。它涵盖了使用 vLLM 的命令行界面或 Docker 进行部署,并重点介绍了其兼容 OpenAI 的 API。该指南还提供了内存不足错误的故障排除技巧,并将其与 Ollama 和 Docker Model Runner 的性能和功能进行了比较。
-
Qwen-Image-2.1-Turbo-Uncensored-GGUF 模型现已兼容本地AI工具
AtomicChat/Qwen-Image-2.1-Turbo-Uncensored-GGUF 模型现已可用于各种本地推理工具。提供了将其与 llama.cpp、LM Studio、Jan、Ollama 和 Docker Model Runner 等流行应用程序集成的说明。该模型还可以与 Pi、Hermes Agent 和 OpenClaw 等专用代理一起使用,为用户提供了部署和交互 Qwen-Image 模型方式的灵活性。
-
Google DeepMind 发布 EmbeddingGemma 2 多模态模型
Google DeepMind 发布了 EmbeddingGemma 2,这是一个开放的多模态嵌入模型,专为高效的设备端应用而设计。该模型将文本、图像、视频和音频统一到一个 768 维的向量空间中,总共有 7.4 亿个参数。它提供多语言能力、改进的代码理解能力以及灵活的模态加载功能,允许开发者仅使用必要的组件。EmbeddingGemma 2 还支持 Matryoshka Representation Learning 以降低存储成本…
-
XingChen-AGI 发布 Xing4.0-29B-A4B,支持 256K 上下文长度
XingChen-AGI 发布了 Xing 系列(前身为 TeleChat)的新大型语言模型 Xing4.0-29B-A4B。该模型拥有 290 亿参数,但每个 token 仅激活 40 亿参数,实现了 256K 的原生上下文长度,可扩展至 512K。值得注意的是,该模型完全在 Ascend NPU 平台上使用 MindSpore 框架进行训练,并针对复杂的工程任务进行了优化,采用了面向代理的架构,并与 Ascend 硬件进行了深度协…
-
大语言模型托管指南比较Ollama、vLLM、TGI和云选项
本指南探讨2026年大语言模型托管选项,比较了Ollama、llama.cpp、vLLM、Text Generation Inference、Docker Model Runner和LocalAI等流行工具。它还考虑了云服务提供商的解决方案,详细介绍了每种方案在成本、性能和基础设施要求方面的权衡。
-
使用 Docker Model Runner 和 Spring AI 在本地运行 AI 模型
使用 Java 和 Spring AI 的开发者现在可以通过 Docker Model Runner 在本地运行生成式 AI 模型,无需依赖云托管 API。这种方法具有降低开发成本、增强数据隐私和支持离线实验等优点。该集成允许应用程序利用 Spring AI 的 ChatModel 和 ChatClient 等抽象,通过 Docker Model Runner 暴露的兼容 OpenAI 的 API 与本地模型进行通信。
-
Qwen3.8-27B-DFlash2 模型已通过两个 Hugging Face 仓库提供
Hugging Face 上出现了两个不同的仓库,incoai/Qwen3.8-27B-DFlash2-GGUF 和 z-lab/Qwen3.8-27B-DFlash2-GGUF,均提供 Qwen3.8-27B-DFlash2 模型。这些模型被设计为用于推测性解码的草稿模型,旨在与 llama.cpp、vLLM 和 Ollama 等库配合使用。DFlash 2 技术旨在通过预测 token 块来提高解码速度,并提供了集成到各种推理提供…
-
SKT发布A.X K2,一个688B参数的MoE语言模型
SKT发布了A.X K2,一个大规模的混合专家(MoE)语言模型。该模型拥有总计6880亿参数,其中330亿为激活参数,旨在提供强大的推理和指令遵循能力,同时保持高效的推理速度。一个关键特性是其混合推理控制,允许用户在用于复杂问题解决的“思考”模式和用于更快、更低延迟响应的“非思考”模式之间进行选择。A.X K2作为韩国政府一项倡议的一部分而开发,目标是成为一个具有深刻理解韩国语言和文化的前沿规模模型。
-
DeepSeek 发布 V4 模型,支持百万 Token 上下文并采用 MoE 架构 · 跟踪 3 个来源
DeepSeek 发布了其 DeepSeek-V4 系列的预览版本,其中包括两个混合专家(MoE)语言模型:DeepSeek-V4-Pro 和 DeepSeek-V4-Flash。这两个模型都支持令人印象深刻的百万 Token 上下文长度,并采用了混合注意力机制等架构升级以提高效率,以及流形约束超连接(mHC)以增强稳定性。这些模型可通过 Transformers、vLLM 和 SGLang 等各种库和推理提供商使用,并提供了集成说明。