研究人员推出ZGCM-1,一个新推出的7B参数基础模型,专为数学推理和智能体搜索而设计。该模型通过交错的门控滑动窗口和全注意力机制,并结合稳定的FP8 Muon优化器,在数据、系统和算法方面强调效率。ZGCM-1采用渐进式课程进行训练,并将交互轨迹重塑为马尔可夫决策过程,以处理256K上下文窗口。评估显示,它在通用基准测试中可与更大的前沿模型竞争,并在数学和智能体任务中表现出色,在训练时间上提供了显著的效率提升。 AI
影响 该模型对效率和智能体能力的关注可能会影响未来针对专业任务的更小、更强大AI系统的研究。
排序理由 该集群通过arXiv发布了一个新的基础模型,附带论文和开源组件,符合研究类别。[lever_c_降级自研究:ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →