实体
Kimi K1.5
Kimi K1.5
PulseAugur coverage of Kimi K1.5 — every cluster mentioning Kimi K1.5 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Moonshot AI 发布 Kimi K3，采用新颖内存技术的最大开源模型
Moonshot AI 开发了 Kimi K3，这是一个拥有 3 万亿参数的开源模型，使其成为同类模型中最大的。其创新不仅在于规模，还在于一种名为 Kimi Delta Attention (KDA) 的新颖内存管理系统。KDA 利用“Delta Rule”就地更新内存，显著降低了与长上下文窗口相关的计算成本，这与传统 Transformer 模型随着上下文长度线性增加内存和二次方增加计算量不同。这种方法最初在较小的 Kimi Lin…
-
理解 Moonshot AI 的 Kimi K3 模型架构指南
一篇 Reddit 帖子概述了理解 Moonshot AI 的 Kimi K3 模型推荐的阅读顺序。建议的顺序首先从线性 Transformer 和门控 Delta 机制的基础论文开始，然后进展到 Kimi 自家的 Kimi Delta Attention (KDA) 架构。接着深入探讨具有 LatentMoE 和 Stable LatentMoE 的专家混合 (MoE) 设计的进展，然后是用于改进信息流的注意力残差概念。帖子最后建议…