研究人员推出 Soofi S 30B-A3B,一个专为德语和英语设计的新型开源基础模型。该模型采用混合 Mamba-Transformer 架构,每个 token 只激活其 300 亿参数中的 30 亿,这为长上下文应用提供了显著的吞吐量优势。Soofi S 在约 27 万亿 token 上进行了训练,并展现出与更大密集模型相媲美的性能,尤其在代码生成任务上表现出色,超越了其他欧洲主权模型。该模型在慕尼黑的 Deutsche Telekom 德国工业人工智能云基础设施上开发,并将以宽松的开放访问条款发布,包括权重、代码和详细的数据账目。 AI
影响 这个开源模型可以加速德语和英语人工智能应用的开发和部署,特别是那些需要长上下文和高并发的应用。
排序理由 该集群描述了一篇详细介绍开源基础模型的新研究论文。
在 Hugging Face Daily Papers 阅读 →
- Apertus-70B
- Deutsche Telekom
- English
- German
- German Industrial AI Cloud
- Hugging Face
- Mamba-Transformer
- Munich
- Olmo-3-32B
- Soofi S 30B-A3B
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →