EleutherAI 发布 Pile-T5，一个在 The Pile 上训练并使用 LLaMA 分词器的改进版 T5 模型

EleutherAI 发布了 Pile-T5，这是 T5 语言模型的一个更新版本。新版本在 The Pile 数据集上进行了训练，并使用了 LLaMA 分词器，解决了原始 T5 在处理代码及其预训练数据方面的不足。Pile-T5 的训练 Token 数量是原始 T5 的两倍，并且在性能上有了显著提升，尤其是在代码相关任务上，即使在 Token 数量相同的情况下也优于广泛使用的 T5 模型。 AI

排序理由 知名研究团队发布了一个现有开源模型的新改进版本。

在 EleutherAI Blog 阅读 →

• 模型发布
• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →