AQL-Lite

新框架增强阿拉伯语大语言模型的知识获取能力

研究人员开发了AQL-Lite框架，旨在高效地使多语言大语言模型适应现代标准阿拉伯语（MSA）。该方法采用质量优先的数据策管线和部分参数持续预训练（CPT）技术。实验表明，与使用原始网络文本相比，在AQL策管的АQL-Lite数据上进行CPT显著提高了阿拉伯语理解能力，并且一个规模化模型在Open Arabic LLM Leaderboard v2上取得了高分。