实体
Jain et al.
Jain et al.
PulseAugur coverage of Jain et al. — every cluster mentioning Jain et al. across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究质疑梯度下降方法的最优性
两篇新研究论文探讨了梯度下降算法在机器学习中的理论基础和实际应用。第一篇论文分析了自然梯度下降（NGD），根据参数维度和函数属性确定了三个区域，对于高斯协方差等某些族，NGD的效率随着维度的对数而增长。第二篇论文证明，对于标准的凸优化，即使在无噪声情况下，梯度下降（或SGD）的最终迭代也无法在不知道总步数的情况下达到最优收敛速率。
-
新的SymNoise方法提升LLM微调性能
研究人员推出了一种名为SymNoise的新型语言模型微调方法，该方法利用嵌入中的对称噪声。该技术旨在通过更精确地调节局部曲率来提高模型性能，优于现有的最先进方法NEFTune。在实验中，SymNoise将使用Alpaca微调的LLaMA-2-7B的AlpacaEval分数从29.79%显著提升至69.04%，比NEFTune的64.69%提高了6.7%。该方法在各种模型和数据集上均持续优于NEFTune。