English(EN) GPT-4 Has 1.8 Trillion Parameters. It Uses 2% of Them Per Token. Here Is Why That Is a Feature.

GPT-4 的 1.8 万亿参数解析：一种专家混合（Mixture-of-Experts）方法

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-20 06:15

GPT-4 采用了专家混合（MoE）架构，这意味着其报告的 1.8 万亿参数并非在每次计算中都全部激活。相反，在处理一个 token 时，只有大约 360 亿参数，即约 2%，会被启用。这种设计选择，通过一个路由函数为每个 token 选择一部分“专家”网络，是为了高效扩展而刻意为之的特性，具有数学基础。 AI

影响这一架构细节表明，通过选择性地激活参数，可以更有效地扩展大型语言模型。

排序理由该条目详细介绍了现有模型 GPT-4 的架构，解释了其参数使用和设计选择。[lever_c_demoted from research: ic=1 ai=1.0]

在 Towards AI 阅读 →

模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

GPT-4 的 1.8 万亿参数解析：一种专家混合（Mixture-of-Experts）方法

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目详细介绍了现有模型 GPT-4 的架构，解释了其参数使用和设计选择。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 87 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

Towards AI TIER_1 English(EN) · Dr Swarneendu AI · 2026-07-20 06:15

GPT-4 拥有 1.8 万亿参数。它每个 token 使用其中 2%。这是它的一大特色。

<div class="medium-feed-item"><p class="medium-feed-snippet">The number 1.8 trillion is not the size of GPT-4. It is the size of the parameter dictionary.</p><p class="medium-feed-link"><a href="https://pub.towardsai.net/gpt-4-has-1-8-trillion-parameters-it-uses-2-of-them-per-tok…

本文如何被排名

报道来源 [1]

GPT-4 拥有 1.8 万亿参数。它每个 token 使用其中 2%。这是它的一大特色。

相关实体

相关话题