1.8 Trillion

GPT-4 的 1.8 万亿参数解析：一种专家混合（Mixture-of-Experts）方法

GPT-4 采用了专家混合（MoE）架构，这意味着其报告的 1.8 万亿参数并非在每次计算中都全部激活。相反，在处理一个 token 时，只有大约 360 亿参数，即约 2%，会被启用。这种设计选择，通过一个路由函数为每个 token 选择一部分“专家”网络，是为了高效扩展而刻意为之的特性，具有数学基础。