研究人员发布了IQuest-Q1,一个专为命令行界面(CLI)系统设计的开源代理式基础模型。该模型采用了稀疏专家混合(MoE)架构,拥有3200亿个总参数,每次激活150亿个。其开发过程包括三个阶段:使用特定的归一化技术和课程学习进行稳定预训练,通过扩展数据混合和上下文长度进行细粒度中期训练,以及结合监督微调和强化学习的多支架后期训练。最终模型在编码和通用任务方面均表现出色。 AI
影响 IQuest-Q1的此次开源发布可能会加速代理式CLI系统和基础模型领域的研究与开发。
排序理由 该集群描述了一个新的开源AI模型的发布,该模型在arXiv论文和Hugging Face上进行了详细介绍。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Hugging Face
- Mixture-of-Experts
- Muon
- reinforcement learning
- Stable SplitNorm
- supervised fine-tuning
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →