实体
NEFTune
NEFTune
PulseAugur coverage of NEFTune — every cluster mentioning NEFTune across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
DeepSeek-R1-8B 使用 LoRA 和 NEFTune 进行金融 NER 微调
研究人员已对 DeepSeek-R1-8B 语言模型进行了微调，以用于金融命名实体识别 (NER) 任务。通过采用低秩适配 (LoRA) 和噪声嵌入微调 (NEFTune)，适配后的模型取得了 0.912 的微 F1 分数。这一性能超过了包括 Llama3-8B 和 Qwen3-8B 在内的其他几个基线模型，证明了这些技术在特定领域 NER 中的有效性。
-
新的SymNoise方法提升LLM微调性能
研究人员推出了一种名为SymNoise的新型语言模型微调方法，该方法利用嵌入中的对称噪声。该技术旨在通过更精确地调节局部曲率来提高模型性能，优于现有的最先进方法NEFTune。在实验中，SymNoise将使用Alpaca微调的LLaMA-2-7B的AlpacaEval分数从29.79%显著提升至69.04%，比NEFTune的64.69%提高了6.7%。该方法在各种模型和数据集上均持续优于NEFTune。