PulseAugur
中
实时 04:53:49
实体 feed-forward networks

feed-forward networks

PulseAugur coverage of feed-forward networks — every cluster mentioning feed-forward networks across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_06666 ·

    新研究揭示LLM前馈层中的关键损失通道

    研究人员在大型语言模型（LLM）的前馈层中识别出一种特定的组织结构，称为“超级节点”（supernodes）和“光环”（halos）。这些超级节点代表了模型性能的关键通道的一小部分，却占有显著的损失敏感性。该研究分析了Llama-3.1-8B和Mistral-7B等模型，发现保留这些关键通道对于有效的模型剪枝和保持性能至关重要。