IFM 发布了 K2-Horizon,这是一套包含六个开放权重语言模型的系列,参数量从 0.9B 到 375B 不等。此次发布尤为引人注目的是其全面的开放性,不仅包括最终的模型权重,还包括中间检查点、训练数据、日志和基础设施代码。这些模型专为通用推理、编码和智能体任务而设计,旗舰级 375B-A23B MoE 模型拥有 23B 激活参数。关键技术创新包括 MoVA(Mixture-of-Value Attention)和 Softplus attention gating,据称这使得较小的 MoE 模型能够以更少的激活参数实现与更大密集模型相当的性能。 AI
影响 此次全面的开放发布可能为大语言模型开发中的透明度和可复现性树立新标杆,有望加速研究和独立评估。
排序理由 前沿实验室模型发布,包含全部训练数据和代码。[lever_c_demoted from frontier_release: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →