Finno-Ugric

TildeOpen LLM 通过课程学习提升低资源欧洲语言的表现

研究人员推出了 TildeOpen LLM，这是一个拥有 300 亿参数的开放权重模型，旨在提高 34 种欧洲语言的性能。该模型通过数据集上采样和在统一语言分布与自然语言分布之间切换的课程式训练计划来解决数据不平衡问题。评估表明，TildeOpen 的表现优于现有的开放权重多语言模型，尤其是在波罗的海、芬兰-乌戈尔和斯拉夫语系语言方面，人类评估显示语言错误显著减少。