Bilibili 发布了 Index-1.9B，这是一系列四个开源小语言模型，包括基础模型、控制变体、对话对齐模型和角色聚焦模型。基础模型在 2.8 万亿个 token 上进行训练，尽管参数量为 19 亿，但在基准测试中仍取得了 64.92 的有竞争力的平均分数。技术报告详细介绍了训练方法，包括新颖的学习率计划和输出层，并展示了对各种训练参数的对照研究。所有模型和评估代码均公开可用。 AI
影响 为研究人员和开发人员提供了新的开源模型，可能在中文和英文语言任务方面提升能力。
排序理由 该集群包含一份详细介绍新开源小语言模型发布的技朧报告。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
