YOON1v/Apex-2

用户从头开始训练了 3.87B MoE 模型 Apex-2，在编码方面与 Qwen2.5-1.5B 相当

一位用户从头开始训练了一个名为 Apex-2 的 3.87B 参数混合专家（MoE）模型，使用了 865 亿个 token 进行预训练，并额外使用了 25 亿个 token 进行监督微调。该模型采用解码器式 MoE 架构，拥有 16 个专家，每个 token 活跃参数量为 14.5 亿，支持 4096 token 的上下文窗口。虽然 Apex-2 在编码基准测试中表现具有竞争力，在预训练数据量远少于 Qwen2.5-1.5B 的情况下…