MixtureOfExperts

Aleph Alpha 发布 Kolibri，一个德语和英语的开源大语言模型

Aleph Alpha 发布了 Kolibri，一个专为德语和英语设计的开源大语言模型。这个专家混合模型拥有 781 亿参数，每个 token 仅激活一小部分。Kolibri 在大约 24 万亿个 token 上进行了训练，其中很大一部分是德语，使用了位于德国和芬兰的 768 个 NVIDIA B200 GPU。该模型在 Apache 2.0 许可下可用，其权重可在 Hugging Face 上找到。