EstLLM

新方法提升了多语言大模型中的爱沙尼亚语能力

研究人员开发了EstLLM，一种用于增强多语言大语言模型（LLMs）在爱沙尼亚语方面性能的方法。通过对Llama 3.1 8B和Apertus 8B等基础模型应用包含丰富爱沙尼亚语数据的持续预训练，随后进行后训练对齐，他们观察到爱沙尼亚语能力、推理和翻译方面有了显著提升。研究发现，尽管Apertus最初在爱沙尼亚语方面能力更强，但Llama在适应后取得了更大的进步，证明了这种方法对较小语种的有效性。