一项新的研究论文调查了在人工语言上预训练大型语言模型（LLM）的有效性，这种技术被称为“预预训练”，此前有研究表明它可以将代币效率提高高达 33%。该研究跨越多种语言，并使用了不同的分词器和模型大小，发现报告的收益高度依赖于实验设置和随机种子。虽然在使用 Llama 分词器和 128-Dyck 预训练的小型模型在大多数测试语言中观察到了稳定的收益，但研究人员强调需要进行多次训练运行来验证实验结果，并避免采用不稳定的方法。 AI
影响 研究结果表明，当前的 LLM 训练方法可能存在不稳定的性能收益，这可能会影响未来模型开发的效率和可靠性。
排序理由 这是一篇详细介绍 LLM 训练技术实验结果的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
