研究人员推出 Lara Mini Base,这是一种新的语言模型,旨在提高多种语言的性能,同时不牺牲容量。与大多数主要以英语训练的模型不同,Lara Mini Base 在包含英语和另外 44 种语言(包括所有欧盟官方语言)的 6 万亿个 token 上进行了训练。该模型采用了具有 72 亿总参数和 6 亿激活参数的混合专家(MoE)架构,这有助于减少语言之间的容量竞争。这种方法使 Lara Mini Base 在英语、多语言、数学和代码基准测试中取得高分,尤其在多语言和数学任务上,其表现优于在显著更多数据上训练的模型。 AI
影响 该模型在多语言训练方面的处理方式可能为不同语言社区带来更公平、性能更优的 AI 系统。
排序理由 该集群描述了一个在 arXiv 论文中提出的新语言模型,详细介绍了其架构和在基准测试上的性能。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International
- English
- European Union
- HellaSwag
- Hugging Face
- Lara Mini base
- T-HellaSwag
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →