研究人员探索了将 Qwen3 语言模型适配到塔吉克语的过程,发现尽管使用 LoRA 适配器进行微调显著降低了文本损失,但并未持续提升模型在塔吉克语任务上的阅读理解能力。对 Qwen3-8B 进行进一步预训练和监督微调,在 Belebele 基准测试上取得了显著进步,但英语 MMLU 分数略有下降。研究还强调了训练过程中数据丢失和数据集质量问题对模型性能和可靠性的影响。 AI
影响 探讨了大型语言模型语言适配的细微差别,强调降低文本损失并不总是等同于理解能力的提高。
排序理由 关于模型适配和评估的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Belebele
- Hugging Face
- LoRA
- Massive Multitask Language Understanding
- Qwen3
- Qwen3-0.6B-Base
- Qwen3_8B
- Tajik
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →