Thinking Machines 发布了 Inkling，这是一款拥有约 1 万亿参数和 100 万 token 上下文窗口的大型多模态语言模型，可在 Hugging Face 上获取。该模型原生处理文本、图像和音频，并通过微调进行领域适应。Inkling 采用专家混合（Mixture-of-Experts）架构，拥有 410 亿激活参数，利用相对注意力、混合注意力（全局和滑动窗口）以及短卷积实现高效推理。 AI
影响 凭借其 1T 参数和 1M 上下文窗口，实现了新的多模态推理应用。
排序理由 Frontier-lab 模型发布，附带系统卡。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
