FlashKDA
PulseAugur coverage of FlashKDA — every cluster mentioning FlashKDA across labs, papers, and developer communities, ranked by signal.
-
Moonshot AI 开源 MoonEP 库以实现高效的 MoE 模型训练
Moonshot AI 发布了 MoonEP,这是一个开源库,旨在优化训练过程中专家混合(MoE)模型的通信。该库解决了专家之间令牌分布不平衡可能导致训练速度变慢的挑战。MoonEP 通过动态规划和预取冗余专家来实现完美平衡,从而提高了 Kimi K3 等大型模型的扩展效率。
-
Moonshot AI 开源 Kimi K3 模型,拥有 2.8T 参数和 1M 上下文
Moonshot AI 已正式开源其 Kimi K3 模型,发布了模型权重和技术报告。该公司还提供了训练 Kimi K3 所使用的关键基础设施技术 MoonEP、FlashKDA 和 AgentEnv。这款新模型是一个拥有 2.8 万亿参数的混合专家(MoE)模型,具备原生视觉理解能力和 100 万 token 的上下文窗口,可供公众免费下载和部署。
-
OpenAI 降低 GPT-5.6 价格,Google 发布 Gemini Robotics 2,Moonshot 发布 Kimi K3 · 追踪 4 个来源
OpenAI 已大幅降低其 GPT-5.6 模型 Luna 和 Terra 的价格,同时推出了更快的 'Sol' 级别。此举旨在提高代理工作流程的成本效益,并归因于系统级效率的提升。与此同时,Google DeepMind 推出了 Gemini Robotics 2,将具身智能能力扩展到全身控制和多机器人协调。此外,Thinking Machines 发布了 Inkling-Small,一个专为高效性能设计的开放权重多模态 MoE 模…
-
Moonshot AI 发布 Kimi K3 开放权重模型,挑战行业领导者
Moonshot AI 发布了 Kimi K3 模型,该模型拥有 2.8 万亿参数和 100 万 token 的上下文窗口,定位为领先的开放权重模型。此次发布还包括 FlashKDA 和 AgentENV 等相关基础设施,为大规模智能体应用提供了一个全面的框架。虽然该模型可广泛使用,但其许可限制了主要托管服务提供商和收入或用户数超过特定阈值的产品进行商业使用,这表明一种趋势是“开放权重”模型带有特定业务的例外条款,而非完全允许的开源许可。
-
Moonshot AI 开源 FlashKDA,在 H200 GPU 上将 Kimi Delta Attention 加速 2.5 倍
Moonshot AI 发布了 FlashKDA,这是 Kimi Delta Attention 的一个开源实现。该新内核在 NVIDIA H200 GPU 上实现了高达 2.5 倍的推理速度提升。它使用 CUTLASS 构建,并针对可变长度批处理进行了优化,可以无缝集成到现有的深度学习框架中。