研究人员探索了通过持续预训练将大型语言模型应用于瑞典新闻业。他们整理了一个包含数百万篇新闻文章的数据集,并开发了一个特定领域的基准来评估性能。研究发现,持续预训练提高了生成质量和事实知识,尤其是在结合经验回放以防止遗忘时。然而,在判别性任务上没有看到改进,并且只有通过低秩适应等特定微调方法才能完全实现收益。 AI
影响 这项研究展示了将LLM专门用于新闻业等细分领域的方法,有可能提高它们在特定行业的实用性。
排序理由 该集群包含一篇详细介绍LLM适应研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- Experience Replay Using Transition Sequences.
- Hugging Face
- large-language models
- Low Rank Adaptation
- Swedish journalism
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →