实体
language model fine-tuning
language model fine-tuning
PulseAugur coverage of language model fine-tuning — every cluster mentioning language model fine-tuning across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
确定性优化 vs. 随机优化：LLM 微调的效率权衡
本文探讨了在高维光滑非凸函数优化中，确定性方法与随机性方法在效率上的对比，特别是在语言模型微调的背景下。研究表明，在处理低曲率迹时，确定性方法的效率显著低于随机方法，需要更多的函数评估。研究结果表明，随机方法在微调等任务中的有效性与其利用这些确定性方法无法匹敌的低曲率条件的能力有关。
-
新的损失平滑技术提高了神经网络在分布变化下的适应性
研究人员引入了一种称为“损失平滑”的技术，以提高神经网络在面对分布变化时的适应性。该方法包括在适应过程开始时，在原始源训练目标和新的目标目标之间逐渐进行插值。通过这样做，它有助于保留从源数据中学到的有价值的特征，同时仍允许模型专门化以适应新任务。在包括视觉适应、强化学习和语言模型微调在内的各个领域的实验表明，损失平滑技术始终能提高性能。