一个四部分系列探讨了AI模型的内部工作原理，使用一台MacBook进行演示。该系列详细介绍了小型GPT模型在训练得分提高的情况下性能如何下降，并通过检查模型如何将“strawberry”视为一个单元来解释分词。它还可视化了Transformer模型的内部过程，并分析了量化对一个80亿参数模型的影响，指出4位精度是有效的，而2位精度则无效。 AI
影响 为从业者提供了对AI模型行为和内部机制的详细、实用的视角。
排序理由 该集群由讨论多部分AI系列内容的社交媒体帖子组成，而不是主要发布或重大行业事件。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
I opened up AI: a 4-part series, one MacBook, every number from my own runs. 1. A tiny GPT that got worse while its training score kept improving 2. Why a model sees "strawberry" as one token 3. Paris showing up at layer 28 of 36 inside a transformer 4. An 8B model at 16, 8, 4 an…
My tiny GPT peaked at step 1,250, then got worse while its training score kept improving. That is Part 1 of How AI Actually Works, now complete: one MacBook, every number from my own runs. 1. Training a tiny GPT until it overfits 2. Why a model sees strawberry as one token 3. Whe…