研究人员推出了一种名为SymNoise的新型语言模型微调方法，该方法利用嵌入中的对称噪声。该技术旨在通过更精确地调节局部曲率来提高模型性能，优于现有的最先进方法NEFTune。在实验中，SymNoise将使用Alpaca微调的LLaMA-2-7B的AlpacaEval分数从29.79%显著提升至69.04%，比NEFTune的64.69%提高了6.7%。该方法在各种模型和数据集上均持续优于NEFTune。 AI
影响 这项新的微调技术为语言模型提供了显著的性能提升，有可能改善其在各种应用中的能力。
排序理由 该集群包含一篇详细介绍语言模型新微调方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2605.23171v1 Announce Type: cross Abstract: Recent advancements in instructional fine-tuning have injected noise into embeddings, with NEFTune (Jain et al., 2024) setting benchmarks using uniform noise. Despite NEFTune's empirical findings that uniform noise outperforms Gau…
Recent advancements in instructional fine-tuning have injected noise into embeddings, with NEFTune (Jain et al., 2024) setting benchmarks using uniform noise. Despite NEFTune's empirical findings that uniform noise outperforms Gaussian noise, the reasons for this remain unclear. …