Prefill and Decode

MCU 结构解析与 Transformer 模型深度解析

该集群涵盖两个不同的主题：MCU 的结构与《蜘蛛侠：新时代》和《复仇者联盟：末日时代》的关系，以及 Transformer 模型从训练到推理的技术解释。第一项讨论了一个幽默地对英雄问题进行排名的场景，暗示了 MCU 的未来结构。第二项深入探讨了 Transformer 模型的技术方面，详细介绍了自回归生成、预填充和解码过程以及 KV 缓存内存的使用。