腾讯发布了Hy4 Preview,一个拥有7700亿总参数和490亿活跃参数的开放权重AI模型。该模型具有100万token的上下文窗口,并采用了混合专家(Mixture-of-Experts)架构,这意味着每个token只激活其一小部分参数。此次发布凸显了开放权重AI领域的快速发展。 AI
影响 此次发布标志着开放权重AI模型竞赛迈出了重要一步,其庞大的参数量和上下文窗口有望影响未来的研究和开发。
排序理由 前沿实验室模型发布,附带系统卡。[lever_c_从前沿发布降级:ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →