Stable SplitNorm

IQuest-Q1：面向CLI系统的开源代理式基础模型发布

研究人员发布了IQuest-Q1，一个专为命令行界面（CLI）系统设计的开源代理式基础模型。该模型采用了稀疏专家混合（MoE）架构，拥有3200亿个总参数，每次激活150亿个。其开发过程包括三个阶段：使用特定的归一化技术和课程学习进行稳定预训练，通过扩展数据混合和上下文长度进行细粒度中期训练，以及结合监督微调和强化学习的多支架后期训练。最终模型在编码和通用任务方面均表现出色。