PulseAugur
中
实时 14:48:01
实体 Layer-wise Error Modeling Search

Layer-wise Error Modeling Search

PulseAugur coverage of Layer-wise Error Modeling Search — every cluster mentioning Layer-wise Error Modeling Search across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_339382 ·

    新方法通过SVD提升LLM压缩效果并提高准确性

    研究人员开发了两种新方法:逐层误差建模搜索(LEMS)和KFAC-SVD,以利用奇异值分解(SVD)改进大型语言模型(LLM)的压缩。LEMS通过考虑逐层误差代理和传播偏差来增强秩分配,而KFAC-SVD则通过使用标记级统计数据来缓解秩崩溃,从而提高分解质量。这些技术在包括Mistral、Qwen3和Llama 3在内的各种模型上展示了显著的零样本准确性提升,最高可达4.8个百分点,平均困惑度改善15%,并且可以扩展到700亿参数的模型。