Yandex 发布了 AliceAI-T5-35B-A0.6B 模型,这是一款采用稀疏专家混合(MoE)层的编码器-解码器架构的语言模型。该模型拥有 343.5 亿个独立参数,每个 MoE 层使用 512 个专家,为每个 token 选择 8 个。发布内容包括使用 Hugging Face Transformers 库的模型说明和代码示例,提供了加载完整模型或仅加载编码器的选项,并指导如何使用 PEFT LoRA 进行微调。 AI
影响 为研究人员和开发人员提供了一种具有稀疏 MoE 架构的新型大型语言模型。
排序理由 发布了一个具有技术细节和使用示例的新语言模型。 [lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Trending Models 阅读 →
- AliceAI-T5
- AliceAI-T5-35B-A0.6B-Base
- AliceAIT5MoEEncoderModel
- Google Colab
- Habr
- Hugging Face
- Kaggle
- transformers
- yandex/AliceAI-T5-35B-A0.6B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →