腾讯发布了其Hy4 AI模型,这是一个拥有2200亿参数的系统,采用了稀疏专家架构。该模型集成了学习到的n-gram记忆和长上下文注意力机制。值得注意的是,尽管其总参数量庞大,Hy4每次仅激活120亿参数即可高效运行。 AI
影响 该模型高效的参数使用方式可能会影响未来大型模型的架构和训练策略。
排序理由 前沿实验室模型发布,附带系统卡。[lever_c_从frontier_release降级:ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →