HRM-Text模型大幅削减LLM预训练成本

研究人员开发了一种新颖的层次循环模型HRM-Text，它显著减少了预训练大型语言模型所需的计算资源和训练数据。通过将计算分解为策略层和执行层，并专门在指令-响应对上进行训练，一个10亿参数的模型在多个基准测试中取得了有竞争力的性能，而使用的token和计算量仅为标准模型的一小部分。这种方法通过降低从头开始预训练的门槛，使基础LLM研究更加易于获得。 AI

影响 使更多研究人员能够从头开始训练基础模型，可能加速创新。

排序理由 该集群包含一篇详细介绍新模型架构及其在基准测试中性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• DROP
• GSM8K
• Hierarchical Recurrent Model
• HRM-Text
• MMLU

• 论文
• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →