Experience Replay Using Transition Sequences.
PulseAugur coverage of Experience Replay Using Transition Sequences. — every cluster mentioning Experience Replay Using Transition Sequences. across labs, papers, and developer communities, ranked by signal.
-
通过持续预训练将LLM应用于瑞典新闻业
研究人员通过在数百万篇新闻文章的精选数据集上进行持续预训练，将大型语言模型（LLM）应用于瑞典新闻业。这种适应过程显示出生成质量和事实知识的提高，特别是与经验回放相结合以防止遗忘时。该研究还探讨了低秩适应（Low Rank Adaptation）等参数高效微调方法，并发现虽然生成能力有所提高，但判别任务并未获得类似收益。至关重要的是，该研究强调了领域特定评估基准的必要性，因为现有的瑞典基准未能准确反映模型在领域内的表现。
-
通过持续预训练将LLM应用于瑞典新闻业
研究人员探索了通过持续预训练将大型语言模型应用于瑞典新闻业。他们整理了一个包含数百万篇新闻文章的数据集，并开发了一个特定领域的基准来评估性能。研究发现，持续预训练提高了生成质量和事实知识，尤其是在结合经验回放以防止遗忘时。然而，在判别性任务上没有看到改进，并且只有通过低秩适应等特定微调方法才能完全实现收益。
-
新的SynGAP框架模仿生物延展性以实现持续学习
研究人员开发了SynGAP，一个新颖的持续学习框架，它模仿生物延展性以防止人工神经网络中的灾难性遗忘。与需要任务标签或大量内存开销的现有方法不同，SynGAP通过维护Fisher信息矩阵的移动平均值来创建预处理梯度的乘法掩码，从而使用自适应梯度预处理。这种方法选择性地减弱对关键历史参数的更新，从而在Split CIFAR-100和CORe50等基准测试中提高准确性并减少遗忘。