实体
Meta-Llama-3-8B
Meta-Llama-3-8B
PulseAugur coverage of Meta-Llama-3-8B — every cluster mentioning Meta-Llama-3-8B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的Super-Tuning方法提高了LLM微调效率
研究人员开发了一种名为Super-Tuning的新方法，旨在提高大型语言模型（LLM）微调的效率。该技术重用了模型剪枝中的显著性信号来识别需要调整的参数。提出的Super方法使用校准过程中的激活加权幅度得分来选择一个小的可训练支持，而Supra变体将其与LoRA适配器结合。在Llama-3.2-1B和Meta-Llama-3-8B模型上的实验表明，Super/Supra变体在测试的适配器配置中达到了高精度，表明受剪枝启发的排序可以有效…
-
新方法通过高效的稀疏化、量化和压缩来加速大型语言模型
研究人员开发了几种新的方法来压缩和优化大型语言模型（LLMs），以提高效率并降低计算成本。SparseForge 通过优化稀疏掩码来专注于高效的半结构化稀疏化，以显著更少的重新训练 token 实现高精度。FASQ 引入了灵活的加速子空间量化，能够在没有校准数据的情况下实现连续的压缩级别，并在商品 GPU 上在准确性和速度方面均优于现有方法。此外，CoSpaDi 使用校准引导的稀疏字典学习进行结构化分解，改善了精度-压缩权衡。另一种方…