safetensors.total

Qwen2.5-0.5B 参数计数差异凸显报告的细微差别

最近对Qwen2.5-0.5B模型的分析显示，Hugging Face报告的参数计数与其内部配置存在差异。模型卡和检查点文件显示的参数数量不同，这是因为处理绑定的嵌入（embedding）的方式，即输入层和输出层使用相同的矩阵。这导致架构计数高于存储计数，差异占模型总参数的27.6%。分析还涉及了Mixtral 8x7B等混合专家（MoE）模型，指出其报告的参数计数可能具有误导性，因为它们描述的是架构而非每个token的实际存储或激活参数。