实体
multi-head attention
multi-head attention
PulseAugur coverage of multi-head attention — every cluster mentioning multi-head attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的MLA注意力机制将LLM KV缓存削减高达10倍
多头潜在注意力（MLA）是一种新颖的注意力机制，旨在显著压缩大型语言模型的KV缓存。通过将KV对投影到低维潜在空间，MLA实现了大量的缓存缩减，使DeepSeek-V2/V3和Kimi K2.x等模型能够以更少的内存处理更长的上下文和更大的批次。该技术改变了前缀缓存和注意力计算的实现方式，在模型推理过程中提供了内存使用和计算成本之间更有效的权衡。
-
新理论将多头注意力机制视为集成回归
研究人员开发了一种统计理论，将多头注意力（MHA）视为一系列Nadaraya-Watson核回归估计器的集成。该框架揭示了MHA中的方差减少与不同注意力头输出的去相关性密切相关，而不仅仅是头的数量。他们引入了头多样性指数（HDI）来衡量这种去相关性，并推导出了最优的头维度分配策略，提出了一个新的架构扩展定律，其中最优的每个头维度随训练集大小呈对数增长。
-
数据中心SLA监控利用AI提前30分钟预测违规
研究人员开发了一个新的框架，使用多头Transformer模型主动监控数据中心服务水平协议（SLA）。该系统将SLA规则编码为结构化数据，使模型能够提前30分钟预测潜在的违规行为。然后，这些预测结果将以专门的视图呈现给财务、运营和合规团队，从而实现及时干预并减少财务处罚。