实体
KimiDeltaAttention
KimiDeltaAttention
PulseAugur coverage of KimiDeltaAttention — every cluster mentioning KimiDeltaAttention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Kimi-K3 微型模型发布，可在 Hugging Face 上进行测试
moonshotai/Kimi-K3 模型的一个较小、拥有 0.4 亿参数的版本已在 Hugging Face 上发布，用于测试和开发目的。这个名为 inference-optimization/Kimi-K3-0.40B 的微型模型保留了其更大版本的一些关键架构特性，包括 KimiDeltaAttention 与 KimiMLAAttention 层 3:1 的比例以及注意力残差连接。它使用 LLM-Compressor 工具创建，…
-
为 Kimi K3 寻找关于 Stable LatentMoE 和 Gated MLA 的论文
一位 Reddit 用户正在寻找与特定人工智能技术相关的资料和论文，即 Stable LatentMoE 和 Gated MLA。这些技术在 Kimi K3 的最先进性能的背景下被提及，同时还有 KimiDeltaAttention 和 AttnRes。用户指出，LatentMoE 由 Nvidia 推出，而 Stable LatentMoE 据称是其更稀疏的版本，而 MLA 是 DeepSeek 的 KV 缓存压缩方法。该查询旨在阐…