实体
Pals
Pals
PulseAugur coverage of Pals — every cluster mentioning Pals across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
PALS方法通过调整层级稀疏性来改进LLM剪枝
研究人员开发了PALS（Percentile-Aware Layerwise Sparsity），一种用于剪枝大型语言模型的新颖方法。与现有的应用统一稀疏性的一次性方法不同，PALS根据激活幅度动态调整每层的稀疏性比例。这种方法在LLaMA-2-7B的困惑度方面显示出显著的改进，取得了比统一剪枝方法更好的结果。然而，其益处依赖于架构，LLaMA-3-8B仅显示边际收益，而Mistral-7B则没有显示任何收益。
-
LLM 推理和推理技术随着新研究和硬件的进步而发展
研究人员正在探索新的方法来提高大型语言模型 (LLM) 的效率和推理能力。Google Research 正在开发训练 LLM 以贝叶斯方式进行推理的技术，从而提高它们更新概率估计和泛化到新任务的能力。同时，推理优化方面的进展包括“投机级联”，它将更小、更快的模型与更大的模型结合起来，以及“上下文回收”来管理长对话范围。此外，正在开发“级联多粒度剪枝”和“SharQ”等方法来压缩 LLM 以进行设备上推理，从而在保持准确性的同时降低延…