PulseAugur
中
实时 00:46:24
实体 Kimi Delta Attention (KDA)

Kimi Delta Attention (KDA)

PulseAugur coverage of Kimi Delta Attention (KDA) — every cluster mentioning Kimi Delta Attention (KDA) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. SIGNIFICANT · CL_195712 ·

    Moonshot AI 发布 Kimi K3，采用新颖内存技术的最大开源模型

    Moonshot AI 开发了 Kimi K3，这是一个拥有 3 万亿参数的开源模型，使其成为同类模型中最大的。其创新不仅在于规模，还在于一种名为 Kimi Delta Attention (KDA) 的新颖内存管理系统。KDA 利用“Delta Rule”就地更新内存，显著降低了与长上下文窗口相关的计算成本，这与传统 Transformer 模型随着上下文长度线性增加内存和二次方增加计算量不同。这种方法最初在较小的 Kimi Lin…