ai-sage 发布 4320 亿参数的 GigaChat 3.5 Ultra

ai-sage 发布了 GigaChat 3.5 Ultra，这是一款拥有 4320 亿参数的混合专家模型，专为多语言任务、推理和代码生成而设计。与前代 GigaChat 3.1 Ultra 相比，新版本体积缩小了约 40%，同时在编码和数学场景下性能有所提升。GigaChat 3.5 Ultra 采用混合注意力架构，结合了多头潜在注意力 (Multi-head Latent Attention) 和门控 Delta 网络 (GatedDeltaNet)，并引入了门控归一化 (Gated Normalization) 以实现更好的信号控制，以及多令牌预测 (Multi-Token Prediction) 以加快生成速度。 AI

影响 此次发布提供了一个更紧凑但功能更强大的模型，适用于多语言任务和代理工作负载，有望提高推理效率。

排序理由 Frontier-lab 模型发布，附带系统卡。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 Hugging Face Trending Models 阅读 →

• ai-sage/GigaChat3.5-432B-A28B
• GatedDeltaNet
• Gated Normalization (GatedNorm)
• GigaChat
• GigaChat 3.1 Ultra
• GigaChat 3.5 Ultra
• GigaChat Ultra 3.0
• Habr
• Mixture of Experts (MoE)
• Multi-head Latent Attention (MLA)
• Multi-Token Prediction (MTP)
• RMSNorm

• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →