IFM发布了K2-Horizon-MoVA-36B-A4B,这是一款具有混合值注意力(Mixture-of-Values attention)的混合专家模型(Mixture-of-Experts model)。该模型拥有360亿参数,但每个token实际只使用40亿参数,在代理和推理基准测试中取得了前沿级的结果。它显著优于其规模15倍的开放权重密集模型和混合专家模型,并与闭源前沿模型具有竞争力。该模型支持512K上下文窗口,IFM计划发布中间检查点、训练数据和代码以实现完全透明。 AI
影响 在参数效率和上下文长度方面为混合专家模型设定了新的基准,可能影响未来的模型架构。
排序理由 前沿实验室模型发布,附带系统卡和基准测试结果。[lever_c_demoted from frontier_release: ic=2 ai=1.0]
在 Hugging Face Trending Models 阅读 →
- Docker
- Google Colab
- Hugging Face
- IFM/K2-Horizon-MoVA-36B-A4B
- K2-Horizon-MoVA-36B-A4B
- Kaggle
- MOVA
- OpenAI
- SGLang
- transformers
- vLLM
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →