实体
Multi-head Latent Attention (MLA)
Multi-head Latent Attention (MLA)
PulseAugur coverage of Multi-head Latent Attention (MLA) — every cluster mentioning Multi-head Latent Attention (MLA) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
研究基准测试LLM能效的注意力机制
一项新近发表在arXiv上的研究，对大型语言模型中使用的八种不同的自注意力机制进行了基准测试，重点关注它们在训练过程中的资源利用率。该研究训练了一个GPT-2架构，发现像Flash Attention、Locality-Sensitive Hashing (LSH) Attention和Multi-Head Latent Attention (MLA)这样的优化内核实现是最节能的。研究强调，仅仅减少GPU功耗不足以实现能效，因为训练时…
-
ai-sage 发布 4320 亿参数的 GigaChat 3.5 Ultra
ai-sage 发布了 GigaChat 3.5 Ultra，这是一款拥有 4320 亿参数的混合专家模型，专为多语言任务、推理和代码生成而设计。与前代 GigaChat 3.1 Ultra 相比，新版本体积缩小了约 40%，同时在编码和数学场景下性能有所提升。GigaChat 3.5 Ultra 采用混合注意力架构，结合了多头潜在注意力 (Multi-head Latent Attention) 和门控 Delta 网络 (Gate…