Aya-3B

新的 CroCo 方法在无需特定语言数据的情况下增强了多语言大语言模型

研究人员开发了一种名为 CroCo（跨语言对比偏好调优）的新方法，该方法在无需特定语言偏好数据的情况下增强了多语言大语言模型。通过使用在英语偏好上训练的奖励模型，CroCo 可以有效地对 14 种不同语言的模型进行调优，从而提高它们在结构化和开放式任务上的性能。这种方法还有助于防止在监督微调过程中灾难性地遗忘先前学到的信息。