腾讯发布了 Hy4 Flash,一个拥有 2200 亿参数的多模态混合专家模型,可在 Hugging Face 上获取。该模型拥有 100 万 token 的上下文窗口,并采用稀疏专家架构,每个 token 有 120 亿活跃参数。其许可包含一项收入触发条款,对于年收入超过 5000 万美元的 API 产品,需要单独签订协议。 AI
影响 此次发布提供了一个具有显著上下文窗口的大规模 MoE 模型,可能影响高效 LLM 架构的研究和开发。
排序理由 前沿实验室模型发布,附带系统卡 [lever_c 从 frontier_release 降级:ic=1 ai=1.0]
- AngelSlim
- AngelSlim/Hy4-flash-GGUF
- bfloat16
- engram
- Fp8
- Hugging Face
- Hy4 Flash
- LatentMoE
- Q4_K_M GGUF
- Tencent
- Tencent Hy License
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →