实体
Word Factory
Word Factory
PulseAugur coverage of Word Factory — every cluster mentioning Word Factory across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
理解 FLOPs：一个 Token 在语言模型中的旅程
本文以 GPT-2 small 为例，深入探讨了语言模型处理单个 Token 的计算成本。文章解释说，主要的计算操作是乘法和加法，以 FLOPs 为单位进行衡量。作者分解了 Token 在模型组件中的旅程，从词典查找（0 FLOPs）开始，然后进入“回顾室”（注意力机制），Token 在那里生成“卡片”以与先前 Token 的信息进行比较。
-
LLM响应生成详解：分词、预填充、解码、流式输出
LLM的响应生成过程可以理解为一个拥有四个关键机器的“单词工厂”：切分器（分词）、阅读器（预填充）、打字机（解码）和传送带（流式输出）。切分器将文本转换为数字令牌，阅读器同时处理这些令牌，并将笔记存储在KV缓存中。然后，打字机逐个令牌生成答案，因为每个新令牌都依赖于前面的令牌，并利用KV缓存避免重新处理整个输入。最后，传送带在生成每个令牌时将其流式传输给用户，从而产生实时打字的效果。