SILX AI 发布 Quasar-Preview，支持 500 万上下文窗口和 MoE 架构

SILX AI 发布了 Quasar-Preview，这是其 Quasar 基础模型系列的初始公开模型。此早期检查点展示了 Quasar 架构，该架构采用稀疏专家混合（MoE）设计，总参数约 180 亿，激活参数 20 亿。它包含混合循环和注意力层配置，包括 Loop Transformer 和 Quasar 混合注意力，以及一个实验性的 500 万 token 上下文窗口。 AI

影响 展示了 MoE 和长上下文架构的进步，可能影响未来模型开发。

排序理由 新实验室（SILX AI）发布的模型，具有特定的架构细节和上下文窗口大小。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 Hugging Face Trending Models 阅读 →

• Bittensor SN24
• Docker Model Runner
• Google Colab
• Hugging Face
• Kaggle
• OpenAI
• SGLang
• SILX AI
• silx-ai/Quasar-Preview
• transformers
• vLLM

• 模型发布
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →