Continual Pretraining (CPT)

研究比较了法语医疗问答大语言模型适配方法

一项新近发表在arXiv上的研究，以法语医疗问答为案例，探讨了将大语言模型（LLMs）适配到特定领域和语言的各种方法的有效性。该研究分别并组合比较了持续预训练（CPT）和监督微调（SFT）在不同模型家族和规模上的表现。研究结果表明，对于选择题，CPT+SFT通常能产生最佳结果，尽管单独使用SFT也是一种成本效益高的方法。对于开放式问题，CPT可以改善基于重叠度的指标，而SFT可能会降低质量，其中指令微调和CPT+SFT在基于大语言模型…