moonshotai/Kimi-K3 模型的一个较小、拥有 0.4 亿参数的版本已在 Hugging Face 上发布，用于测试和开发目的。这个名为 inference-optimization/Kimi-K3-0.40B 的微型模型保留了其更大版本的一些关键架构特性，包括 KimiDeltaAttention 与 KimiMLAAttention 层 3:1 的比例以及注意力残差连接。它使用 LLM-Compressor 工具创建，并在一个小数据集上进行了微调，从而显著减少了参数数量，同时保持了一定的生成能力。 AI
影响 为开发者提供了一个更小、更易于访问的 Kimi-K3 版本，以便进行实验和集成到应用程序中。
排序理由 发布了一个现有模型的更小、实验性版本，用于测试和开发，而非完整的 Frontier 版本。
在 Hugging Face Trending Models 阅读 →
- inference-optimization/Kimi-K3-0.40B
- KimiDeltaAttention
- KimiK3ForConditionalGeneration
- KimiMLAAttention
- LLM-Compressor
- moonshotai/Kimi-K3
- transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
