Inkling-Small

Thinking Machines 发布开放权重 Inkling 模型，支持 100 万上下文窗口

Thinking Machines 发布了 Inkling，这是一款开放权重的专家混合（Mixture-of-Experts）Transformer 模型，拥有 9750 亿总参数和 410 亿激活参数。该模型支持高达 100 万个 token 的上下文窗口，并在包含文本、图像、音频和视频的多元化数据集上进行了训练。与 Inkling 一同发布的还有 Inkling-Small 的预览版，这是一款拥有 120 亿激活参数的轻量级模型，…