一项新近发表在arXiv上的研究,以法语医疗问答为案例,探讨了将大语言模型(LLMs)适配到特定领域和语言的各种方法的有效性。该研究分别并组合比较了持续预训练(CPT)和监督微调(SFT)在不同模型家族和规模上的表现。研究结果表明,对于选择题,CPT+SFT通常能产生最佳结果,尽管单独使用SFT也是一种成本效益高的方法。对于开放式问题,CPT可以改善基于重叠度的指标,而SFT可能会降低质量,其中指令微调和CPT+SFT在基于大语言模型的评估中更受青睐。该研究还展示了从法语到英语基准的有效跨语言迁移能力,为在计算资源有限的情况下选择适配策略提供了实践指导。 AI
影响 为优化大语言模型适配策略提供了实践指南,有望降低计算成本并提高在特定领域的性能。
排序理由 该聚类包含一篇发表在arXiv上的研究论文,详细介绍了实证研究结果。
- arXiv
- Continual Pretraining
- English
- French
- Hugging Face
- LLM-as-a-Judge
- OEQA
- supervised fine-tuning
- Continual Pretraining (CPT)
- Supervised Fine-Tuning (SFT)
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →