实体
Lawrence Feng
Lawrence Feng
PulseAugur coverage of Lawrence Feng — every cluster mentioning Lawrence Feng across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
研究发现:正则化会放大机器学习中的隐藏偏见
一篇新的研究论文探讨了机器学习中的正则化技术如何意外地放大“潜意识学习”,即隐藏的偏见在没有明显语义联系的情况下通过数据进行转移。与正则化会抑制这种隐蔽影响的预期相反,研究发现低秩适应和显式惩罚等方法实际上加强了这些隐藏偏见的转移。在幻影转移和对数线性选择等相关现象中也观察到了这种效应,这表明正则化引起的简单性偏见可能无意中促进了隐蔽影响。
-
研究发现,早期数据暴露可提高 LLM 对微调的鲁棒性
一篇新的研究论文探讨了如何训练语言模型,使其在后续微调后仍能保持其能力。该研究针对拥有 1.35 亿和 10 亿参数的模型进行,发现获取能力的方法在训练过程中显著影响其保留情况。具体来说,“早期暴露”——将训练后数据整合到预训练阶段——一致地提高了上游性能在下游微调过程中遗忘的鲁棒性。研究表明,在开发更具弹性的模型时,将鲁棒性作为上游训练期间的主要目标,而不是在微调期间被动应对,至关重要。