PulseAugur
实时 07:22:53
English(EN) If you see sum in forward pass, there will be a replication (broadcasting) in backward pass; while if you see a replication in forward pass, which indicates the

LLM 数学:前向和后向传播计算详解

该条目讨论了与神经网络计算相关的数学概念,特别是前向和后向传播。它解释说,前向传播中的求和会导致后向传播中的复制,反之,前向传播中的复制意味着变量重用,这需要在后向传播中进行求和以考虑这种重用。 AI

影响 解释了一个与理解 LLM 机制相关的基本计算概念。

排序理由 该条目是一篇讨论技术概念的社交媒体帖子,而非主要来源发布或重大行业事件。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM 数学:前向和后向传播计算详解

报道来源 [1]

  1. Mastodon — mastodon.social TIER_1 English(EN) · xElliMoo ·

    如果在前向传播中看到求和,那么在反向传播中就会发生复制(广播);而如果在前向传播中看到复制,则表明

    If you see sum in forward pass, there will be a replication (broadcasting) in backward pass; while if you see a replication in forward pass, which indicates there is variable reuse, so during backward pass, there will be a sum over the same dimension to count for all the reuse. #…