Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个 264 亿参数的多模态 Looped Mixture-of-Experts 模型,专为在消费级硬件上本地部署而设计。该模型支持 100 万 token 的上下文窗口,并提供各种量化格式,包括用于 CPU 和 Apple Silicon 推理的 GGUF。部署说明强调了针对 NVIDIA Blackwell B200 GPU 的特定优化以及与 vLLM 的兼容性,并提供了托管推理的 API 定价。 AI
影响 使得先进的多模态模型能够在消费级硬件上本地部署,从而可能降低推理成本并提高可访问性。
排序理由 来自具有特定模型名称和版本的实验室的模型发布。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
- Apache Software License 2.0
- DeepSeek V4.1 Flash
- GGUF
- Inkling 2 Mini
- Nvidia B200
- Nvidia Blackwell B200
- Thinking Machines Lab
- TRT-LLM-gen
- Unsloth
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →