实体 KimiMLAAttention

KimiMLAAttention

PulseAugur coverage of KimiMLAAttention — every cluster mentioning KimiMLAAttention across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_176600 · Jul 28 · 02:16

Kimi-K3 微型模型发布，可在 Hugging Face 上进行测试

moonshotai/Kimi-K3 模型的一个较小、拥有 0.4 亿参数的版本已在 Hugging Face 上发布，用于测试和开发目的。这个名为 inference-optimization/Kimi-K3-0.40B 的微型模型保留了其更大版本的一些关键架构特性，包括 KimiDeltaAttention 与 KimiMLAAttention 层 3:1 的比例以及注意力残差连接。它使用 LLM-Compressor 工具创建，…