PulseAugur
实时 14:28:37
实体 H64LM

H64LM

PulseAugur coverage of H64LM — every cluster mentioning H64LM across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_123373 ·

    新方法旨在提高 Transformer 的效率和理解能力

    研究人员开发了两种不同的方法来提高 Transformer 模型在训练和部署方面的效率和理解能力。一种名为 ExFusion 的方法提出了一种预训练技术,该技术在训练过程中将 Transformer 前馈网络中的多个专家融合为一个统一的专家,从而降低了计算成本和部署开销。另一个项目 H64LM 是一个从头开始用 PyTorch 构建的 2.49 亿参数的专家混合(MoE)Transformer,旨在通过手动实现注意力机制和 MoE 路…