Thinking Machines发布了巨大的Inkling模型权重，不适用于家用电脑

Thinking Machines已发布其Inkling模型的完整权重，该模型采用混合专家（MoE）架构，总参数为9750亿，激活参数为410亿。虽然权重可免费获取，但运行该模型需要大量的计算资源，使其不适用于典型的家用电脑。该模型支持文本、图像和音频输入，上下文窗口高达100万个token，并被定位为进一步开发的定制化基础，而非普遍优越的模型。 AI

影响 Inkling权重的发布为研究人员和开发人员提供了一个强大、可定制的基础模型，但也凸显了大型MoE架构相关的显著基础设施成本。

排序理由 开发者发布模型权重和技术细节。[lever_c_research降级：ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• GGUF
• Hacker News
• Inkling
• llama.cpp
• mixture of experts
• Mlx
• r/LocalLLaMA
• SGLang
• Thinking Machines
• transformers
• Unsloth
• vLLM

• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →