PulseAugur
中
实时 09:00:56
实体 Wanda-Importance Sparsity-MeZO

Wanda-Importance Sparsity-MeZO

PulseAugur coverage of Wanda-Importance Sparsity-MeZO — every cluster mentioning Wanda-Importance Sparsity-MeZO across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_356618 ·

    新的WIS-MeZO方法提高了LLM微调效率

    研究人员开发了一种名为Wanda-Importance Sparsity-MeZO (WIS-MeZO) 的新方法，以提高大型语言模型零阶（ZO）优化的效率。该技术利用Wanda权重-激活显著性来创建任务特定的稀疏扰动掩码，从而减小搜索空间的维度。在LLaMA和Qwen模型上针对16个基准测试进行了测试，WIS-MeZO与现有的MeZO以及随机或基于幅度的稀疏扰动方法相比，显示出更优的总体得分和更快的收敛速度。