实体
Kronecker factored approximation
Kronecker factored approximation
PulseAugur coverage of Kronecker factored approximation — every cluster mentioning Kronecker factored approximation across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的GFWSVD方法通过分析参数相关性来改进LLM压缩
研究人员开发了一种名为广义Fisher加权SVD（GFWSVD）的新型技术，用于压缩大型语言模型（LLM）。该方法通过同时考虑Fisher信息矩阵的对角线和非对角线元素来改进现有的压缩方法，更准确地反映参数的重要性。GFWSVD利用了Kronecker因子近似算法的可扩展适应性，使其能够处理大型模型。在MMLU基准测试上的评估中，GFWSVD在20倍压缩率下比仅依赖对角线近似的方法提高了5个百分点，优于FWSVD。
-
研究人员发现谱系坍塌阻碍深度学习可塑性
研究人员已确定谱系坍塌是深度神经网络在学习新任务时丧失可塑性的一个关键原因。当Hessian矩阵失去有效曲率时，就会发生这种现象，导致梯度下降效率低下。该研究提出了两种正则化技术——保持高有效特征秩和应用L2惩罚——来对抗谱系坍塌并保持持续学习场景中的可塑性。