实体 KFAC-SVD

KFAC-SVD

PulseAugur coverage of KFAC-SVD — every cluster mentioning KFAC-SVD across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_321745 · Oct 26 · 04:00

新的LEMS和KFAC-SVD技术提高了大模型压缩的准确性

研究人员开发了一种名为逐层误差模型搜索（LEMS）的新方法，利用奇异值分解（SVD）来改进大型语言模型（LLMs）的压缩。LEMS通过引入逐层误差代理来解决现有方法的局限性，该代理能更好地捕捉误差传播和重要性，从而实现更有效的全局秩分配。此外，还提出了KFAC-SVD，通过使用令牌级统计信息来提高分解质量，有助于缓解秩亏损。这些技术在Mistral、Qwen3和Llama 3等模型上展示了高达4.8个百分点的显著准确性提升，并将困惑度…