某人正在试验一个基于Transformer的语言模型，并指出该模型需要进一步开发。该模型目前有7层、4个注意力头、128的维度和512个字符的上下文窗口。创作者正在考虑增加更多层，但受到GPU内存的限制。 AI
排序理由 这是一个业余爱好者的个人项目更新，而不是重大的行业事件或发布。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
业余爱好者用有限的硬件训练实验性Transformer语言模型
报道来源 [1]
-
世界并非尽善尽美——好吧，对此我无话可说。但除此之外，我基于Transformer的实验性语言模型似乎还需要更多工作。也许我应该倒一些
The world is not gravy - well amen to that. But otherwise, my experimental transformer based Language Model seems to need some more work. Maybe I should pour some water down the drain and kill some baby seals to make it go, like the big players... (7 layers, 4 heads, Dimension 12…