Kimi Delta Attention
PulseAugur coverage of Kimi Delta Attention — every cluster mentioning Kimi Delta Attention across labs, papers, and developer communities, ranked by signal.
- developed Kimi k3 95%
- uses Kimi k3 90%
- developed by Kimi k3 90%
- developed by Attention Residuals 90%
- developed Opus 4.8 90%
- instance of Kimi k3 90%
- used by Kimi k3 85%
- competes with GPT 5.6 "Sol" 80%
- used by Attention Residuals 70%
- competes with Claude Fable-5 70%
- used by Stable LatentMoE 70%
- used by Opus 4.8 70%
10 天有情绪数据
Kimi Delta Attention to be integrated into other open-source models
The Kimi Delta Attention mechanism, highlighted in the new Kimi K3 model, is a novel technology that enhances long-context memory. Given its open-source nature and the increasing demand for efficient long-context handling, it is plausible that other open-source LLM developers will seek to integrate or adapt this attention mechanism into their own models.
Moonshot AI to release specific benchmarks comparing Kimi Delta Attention to other methods
The recent research on Semidirect Fourier Delta Attention (SFDA) generalizes Kimi Delta Attention and mentions formal stability and complexity bounds. Moonshot AI may release specific benchmarks or technical papers detailing the performance advantages of Kimi Delta Attention over other long-context attention mechanisms, especially in comparison to SFDA, to further validate its innovation.
Kimi K3's open-weight release date is July 27, 2026
Multiple sources indicate that Moonshot AI's Kimi K3 model, while available via API, is scheduled to release its full weights by July 27, 2026. This is a key date for the open-source community to gain direct access to and further experiment with this large-scale model.
-
Moonshot 详细介绍 K3 模型在多模态和长上下文方面的集成训练
Moonshot 详细介绍了其 K3 模型的训练过程，强调仅有架构不足以支撑，必须配合恰当的训练。该公司在开发语言模型的同时，也并行开发了 K3 的视觉编码器 MoonViT-V2，使两者能够共同学习表征。这种集成方法与将视觉能力添加到已训练语言模型的方法形成对比。
-
Kimi K3模型通过新的注意力机制突破长上下文和深度瓶颈 · 已追踪2个来源
Moonshot的Kimi K3模型解决了极长上下文窗口和深度神经网络的挑战。为了处理长达一百万个token的上下文窗口，Kimi K3采用了Kimi Delta Attention (KDA)，它将历史信息压缩成固定大小的状态，而不是像标准注意力那样存储单独的键值对。这种方法解决了序列长度增加带来的计算成本不断上升的问题。此外，该模型还引入了Attention Residuals，一种学习每一先前层贡献的机制，防止有用表示在模型深度中丢失。
-
CAKE框架协同设计编译器代理以促进GPU内核演进
研究人员开发了CAKE，一个新颖的协同设计框架，它整合了编译器技术和AI代理以增强GPU内核演进。该系统允许代理编写一种称为CAKE IR的专业中间表示（IR），该IR详细说明了硬件调度、内存移动和同步。该框架旨在提高专家GPU内核的可复现性和性能，超越将编译器视为黑箱的局限性。早期结果显示，在NVIDIA GPU上，Flash-KMeans和Kimi Delta Attention等应用程序的速度显著提升，并有可能实现更广泛的内核泛化。
-
新的线性化注意力模型实现了更高的准确率和更低的困惑度
研究人员开发了一种 2-单纯复形注意力的线性化版本，将三线性分数重写为内积。这种新形式允许在序列长度上实现线性成本，同时保持全局覆盖范围，这与传统的窗口注意力机制不同。通过使用正随机特征近似求和并将过去的信息存储在固定大小的状态中，该方法可以使用自定义 Triton 内核实现，并与 Kimi Delta Attention 集成。最终的模型完全省略了 softmax 注意力，在 LAMBADA 等基准测试中展示了优越的下游准确率和更高的困惑度。
-
Moonshot发布开源2.8T Kimi K3模型，采用新颖的注意力机制
Moonshot的Kimi K3模型通过发布一个开源的2.8万亿参数模型，取得了重大里程碑，这一壮举此前仅在闭源系统中出现。尽管与OpenAI和Google等大型竞争对手相比面临资源限制，Moonshot通过Kimi Delta Attention (KDA)和AttnRes (Attention Residuals)等架构变革进行了创新。KDA优化了注意力机制，以降低长上下文的计算成本，而AttnRes通过学习如何选择性地整合来自前…
-
Moonshot AI 发布 Kimi K3，一款 2.8T 参数的开源 MoE 模型
Moonshot AI 发布了 Kimi K3，这是一款拥有 2.8 万亿参数的开源专家混合（MoE）模型。该模型采用了 Kimi Delta Attention 等架构创新，提高了扩展效率，并在长时程编码和代理工作流等复杂任务上表现出色。模型权重以 MXFP4 格式在 Hugging Face 上提供，并详细介绍了如何使用 Amazon SageMaker HyperPod 和 Amazon EKS 在 AWS 上进行部署，这需要 …
-
理解 Moonshot AI 的 Kimi K3 模型架构指南
一篇 Reddit 帖子概述了理解 Moonshot AI 的 Kimi K3 模型推荐的阅读顺序。建议的顺序首先从线性 Transformer 和门控 Delta 机制的基础论文开始，然后进展到 Kimi 自家的 Kimi Delta Attention (KDA) 架构。接着深入探讨具有 LatentMoE 和 Stable LatentMoE 的专家混合 (MoE) 设计的进展，然后是用于改进信息流的注意力残差概念。帖子最后建议…
-
Alaya Token集成Kimi K3，全球首个3T开源模型
DataCanvas旗下的Alaya Token平台已集成Kimi K3，这是全球首个开源的3万亿参数模型。此次集成使用户能够通过Alaya Token的统一服务来访问Kimi K3的先进能力，包括其百万级token上下文窗口以及在编码和推理基准测试中的强大性能。该平台旨在提供可扩展的、按需的token计算能力，从而为企业应用实现各种领先的开源模型之间的无缝切换。
-
Together AI 与 Moonshot AI 合作托管 Kimi K3 模型
Together AI 和 Moonshot AI 已建立战略合作伙伴关系，Together AI 将成为 Moonshot 开源模型发布的主要平台。此次合作始于 Moonshot 的 Kimi K3 模型发布，该模型是一个拥有 2.8 万亿参数的稀疏专家混合模型，支持原生视觉功能，并拥有 100 万 token 的上下文窗口。该合作旨在通过 Together AI 强大的基础设施，包括模型后训练和生产级推理选项，让开发者能够立即获得…
-
Kimi Delta Attention 解析：从二次到线性变体
本文深入探讨了 Kimi Delta Attention (KDA) 机制，这是一种复杂的线性注意力变体。文章追溯了从二次注意力到 KDA 的演变过程，解释了 KDA 如何通过关注误差校正而非直接值更新来解决早期线性注意力模型的局限性。解释中使用了 bra-ket 符号和数学推导来说明该过程，并强调了其在 Qwen 和 Kimi 等现代模型中的应用。
-
AI被抓到谎称看到未见过的图像；探讨Kimi Delta Attention概念
一位研究人员演示了AI无法感知图像的能力，随后抓住了AI对其视觉输入的捏造。另外，一次讨论探讨了Kimi Delta Attention的概念，并暗示了其更广泛发展的潜力。
-
Kimi K3 揭示长上下文和代理任务的架构创新
Kimi K3 发布了其技术报告，详细介绍了旨在提高大型语言模型效率和可扩展性的重大架构创新，特别是在长上下文任务和代理操作方面。该模型引入了 Kimi Delta Attention (KDA)，通过使用压缩的递归状态而非完整的 KV 缓存来管理长序列，以及用于定期检查完整上下文的 Gated Multi-Layer Attention (MLA)。Attention Residuals (AttnRes) 允许更深的网络选择性地访…
-
Moonshot AI 发布开源 Kimi K3，用于复杂的编码任务 · 跟踪 2 个来源
Moonshot AI 发布了 Kimi K3，这是一个拥有 2.8 万亿参数的开源模型，专为长时程编码和代理任务而设计。该模型具有一百万个 token 的上下文窗口和混合专家（Mixture-of-Experts）架构，使其能够处理和理解庞大的代码库。虽然供应商报告的基准测试显示其编码性能具有竞争力，但其真正的价值在于其开源权重，允许团队将其集成到自己的工作流程中，并尝试自定义工具和系统。
-
新方法提升扩散 Transformer 的效率和性能 · 跟踪 4 个来源
研究人员开发了新方法来提高扩散 Transformer 的效率和性能，这是 AI 图像和视频生成的一个关键架构。Chimera，一种混合视觉扩散骨干网络，结合了不同的注意力机制和一种新颖的缩放方法，与传统模型相比，实现了显著的计算效率提升。此外，MMOE 通过借鉴大型语言模型的高效专家设计，实现了扩散 Transformer 的现代化，从而加快了收敛速度并改善了质量-成本平衡。Calibri 提供了一种参数高效的扩散 Transfor…
-
Moonshot AI的Kimi K3开源模型现已上线Telnyx API
Moonshot AI的Kimi K3是一个拥有2.8万亿参数的开源模型，现已可通过Telnyx推理API访问。该模型拥有100万token的上下文窗口、原生视觉能力和可配置的推理能力。Kimi K3表明，在编码和代理工作流等领域，开源模型正迅速接近Anthropic和OpenAI等竞争对手的闭源前沿模型。
-
Moonshot 发布 Kimi K3，一款拥有 2.8T 参数的多模态模型，支持 100 万上下文
Moonshot 发布了 Kimi K3，这是一款新的 2.8 万亿参数多模态模型，拥有 100 万 token 的上下文窗口和原生视觉能力。该模型在发布时展现出惊人的速度，达到每秒 460 token。Kimi K3 基于混合专家架构构建，并通过 Modal 平台提供，提供基于 token 的定价和专用容量选项。
-
Fireworks 发布 3T 参数 Kimi K3 开源模型，可与顶级闭源模型相媲美
Fireworks 已在其推理和训练平台上发布了 Kimi K3，这是一个拥有 3 万亿参数的开源模型。该模型拥有 100 万 token 的上下文窗口、原生视觉能力以及可与 Anthropic 和 OpenAI 的顶级闭源模型相媲美的推理能力。Kimi K3 的成本显著降低，并且可以选择在 Fireworks 上进行 LoRA 训练，允许用户针对特定工作负载微调模型。
-
Kimi K3 AI模型优化GPU，设计芯片并加速研究
开放前沿智能（Open Frontier Intelligence）推出的先进AI模型Kimi K3，在超越典型语言任务方面展现了卓越的能力。该模型在优化GPU内核方面表现出色，学习速度提升高达2.48倍，并显著缩短了执行时间。它还成功开发了一个可与Triton和torch.compile相媲美的GPU编程系统，甚至参与了AI芯片的初步设计。此外，Kimi K3能够自主实现、验证和分析复杂的计算研究工作流，在短短几小时内完成通常需要人…
-
Moonshot AI 的 Kimi K3 参数量达 2.8T，接近前沿性能 · 跟踪 1 个来源
Moonshot AI 发布了 Kimi K3，这是一款接近领先闭源模型性能的新前沿模型。K3 拥有 2.8 万亿参数、一百万 token 的上下文窗口以及混合专家（Mixture-of-Experts）架构。虽然在某些基准测试中落后于 Claude Fable 5 和 GPT-5.6 Sol 等顶级模型，但它在智能体任务和编码方面表现强劲，并且其每个 token 的成本远低于其前代模型。该模型目前可通过 API 和 Kimi 的产品…
-
SemiAnalysis称Kimi K3模型的规模和效率将提振AI硬件需求
SemiAnalysis认为，尽管Kimi K3模型采用了线性注意力和较低的KV缓存需求，但它对NVIDIA和更广泛的AI硬件生态系统是有益的。该模型拥有庞大的2.8万亿参数，需要大规模的基础设施，包括NVL72等专用机架，其WideEP优化虽然增加了网络带宽需求，但却是为这类系统设计的。此外，杰文斯悖论表明，AI效率的提高最终将导致更广泛的应用，从而增加对GPU、HBM、DRAM和网络基础设施的需求。