据报道，一个新的大型语言模型正在训练中，其使用的token数量超过100万亿，远超当前模型通常使用的27-50万亿token。如此庞大的数据集规模预示着训练所需的计算资源将大幅增加。该模型可能命名为M3，尽管训练数据庞大，但其参数量据推测将少于5000亿。 AI
影响 如此庞大的数据集规模可能标志着LLM训练的新前沿，如果计算挑战得以克服，有望带来更强大的模型。
排序理由 该集群讨论了一个潜在的新模型训练数据集规模，这是一个研究相关话题。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
