Swedish journalism

通过持续预训练将LLM应用于瑞典新闻业

研究人员通过在数百万篇新闻文章的精选数据集上进行持续预训练，将大型语言模型（LLM）应用于瑞典新闻业。这种适应过程显示出生成质量和事实知识的提高，特别是与经验回放相结合以防止遗忘时。该研究还探讨了低秩适应（Low Rank Adaptation）等参数高效微调方法，并发现虽然生成能力有所提高，但判别任务并未获得类似收益。至关重要的是，该研究强调了领域特定评估基准的必要性，因为现有的瑞典基准未能准确反映模型在领域内的表现。