腾讯发布了新的开源语言模型 Hy3。该模型拥有 2950 亿参数,但采用了混合专家(mixture-of-experts)架构,这意味着在任何给定时间只有 210 亿参数处于活跃状态。腾讯声称 Hy3 的性能可与活跃参数量五倍的模型相媲美,并将幻觉率降低了一半至 5.4%。 AI
影响 该模型高效的参数使用方式可能会影响未来开源 LLM 的开发和部署策略。
排序理由 发布具有特定技术细节的开源模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →