causal masking

通过分步数值分析解释大型语言模型（LLM）的注意力机制

本文深入探讨了像GPT这样的大型语言模型（LLM）处理语言的数学基础，重点关注注意力机制。文章通过追踪数字在矩阵乘法、Q·K点积和Softmax函数中的传递过程，揭示了这一过程的奥秘。作者强调，LLM并非从概念上理解词语，而是从训练过程中学到的数值关系和模式中推导出含义，并用一个包含小型语料库的具体示例来说明注意力分数是如何计算的以及词元嵌入是如何被转换的。