Moonshot AI 已在 Hugging Face 上发布 Kimi-K3 模型权重，该模型采用了针对长上下文推理的架构优化。模型采用了修改后的 Transformer 架构，结合了 Grouped Query Attention (GQA) 和类似 vLLM 的分页注意力技术，以高效管理其 KV 缓存，支持长达一百万个 token 的序列。关键配置包括用于位置嵌入稳定性的高 `rope_theta` 值，以及为生产部署而设计的抗训练后量化能力。 AI
影响 能够高效处理极长的上下文，可能推动需要深度文档理解或扩展对话记忆的应用。
排序理由 前沿实验室 (Moonshot AI) 模型发布，权重可在 Hugging Face 上获取。[lever_c_demoted from frontier_release: ic=2 ai=1.0]
- Kimi k3
- Moonshot AI
- GQA
- Grouped Query Attention
- Hugging Face
- KimiForCausalLM
- KV cache
- Rope
- Rotary Positional Embeddings
- Transformer++
- vLLM
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
