PulseAugur
中
实时 20:22:29
English(EN) Can You Run Inkling 2 Small Locally? 17B Active, but Plan on 200 GB

Inkling 2 Small 模型需要 200GB RAM，给本地部署带来挑战

作者 PulseAugur 编辑部 · [1 个来源] ·

在本地运行新的 Inkling 2 Small 模型面临严峻的硬件挑战，主要原因是其拥有 5940 亿参数。虽然该模型每个 token 支持 170 亿活跃参数，但必须能够访问整个模型，这估计需要 190-200 GB 的 RAM 和 VRAM。这一需求超出了典型消费级硬件的容量，即使是双 DGX Sparks 等高端解决方案也可能无法满足或需要大量变通方法。此外，本地权重和兼容软件（如特定的 llama.cpp pull requests）的可用性仍不确定。 AI

影响 在本地部署 Inkling 2 Small 等大型模型需要大量的硬件投资，这可能会限制个人用户和小型组织的可访问性。

排序理由 该条目讨论了在本地运行特定大型语言模型的实际操作和硬件要求，而不是新的模型发布或重大的研究突破。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Inkling 2 Small 模型需要 200GB RAM，给本地部署带来挑战

本文如何被排名

Signal score
63 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目讨论了在本地运行特定大型语言模型的实际操作和硬件要求，而不是新的模型发布或重大的研究突破。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Breaking (< 6h)
Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Alan West ·

    Can You Run Inkling 2 Small Locally? 17B Active, but Plan on 200 GB

    <p>You can't run Inkling 2 Small locally yet. Thinking Machines shipped the 594B model on November 5, 2026 with <a href="https://thinkingmachines.ai/news/inkling-2-small/" rel="noopener noreferrer">closed weights on Tinker</a>, and the Apache 2.0 weights are only promised for nex…

相关实体

相关话题