推出了一系列新的日语大语言模型 LLM-jp-4,其中包括一个 8B 的密集模型和一个 32B 的混合专家模型。这些模型在约 12 万亿个 token 上进行训练,注重透明度和可复现性。评估结果显示,与之前的 LLM-jp 版本相比有显著改进,并且与同等规模的开放权重模型相比具有竞争力。 AI
影响 为未来具有透明度和可复现性的大模型训练的主权人工智能发展提供了参考。
排序理由 该集群描述了一份技术报告,详细介绍了新一代大语言模型,包括其架构、训练数据和评估结果。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Litmaps
- LLM-jp-4
- ScienceCast
- Scite
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →