AliceAI-T5-35B-A0.6B-Base

Yandex 发布 AliceAI-T5-35B-A0.6B，采用稀疏 MoE 层

Yandex 发布了 AliceAI-T5-35B-A0.6B 模型，这是一款采用稀疏专家混合（MoE）层的编码器-解码器架构的语言模型。该模型拥有 343.5 亿个独立参数，每个 MoE 层使用 512 个专家，为每个 token 选择 8 个。发布内容包括使用 Hugging Face Transformers 库的模型说明和代码示例，提供了加载完整模型或仅加载编码器的选项，并指导如何使用 PEFT LoRA 进行微调。