实体
Metamath
Metamath
PulseAugur coverage of Metamath — every cluster mentioning Metamath across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM剪枝面临能力权衡；新方法提高保留率
研究人员发现，在剪枝大型语言模型时存在一种权衡：用于提高通用能力的校准数据可能会损害在编码和数学等专业任务上的性能。为解决此问题，他们提出了一种多源校准混合技术和一个名为IGSP的自动化协议。与单源校准相比，该方法显著提高了整体模型保留率，尤其是在高稀疏度水平下。
-
SMF和SAM等新方法减少了LLM的灾难性遗忘
两篇新研究论文探讨了在微调过程中减轻语言模型灾难性遗忘的方法。其中一篇论文介绍了稀疏记忆微调（SMF），该方法增加了记忆层并仅更新访问量大的行，在医学考试任务上表现出改进的性能，同时通用能力损失最小。另一篇论文研究了锐度感知最小化（SAM）和其他预训练优化技术，证明偏向更平坦的最小值可以显著减少各种模型大小和训练后场景下的遗忘。