研究人员开发了一个使用两个通过 Tailscale VPN 和直接光纤连接的 NVIDIA DGX Spark 系统的分布式大模型训练远程访问测试平台。该设置实现了 Nanochat 模型的分布式预训练，在四天内处理了约 6.53 亿个 token。此外，该系统还用于使用 CISA 公告微调网络安全威胁情报的大模型，在 CTI 特定类别有所改进，而通用知识略有退步。该测试平台还支持 AI 教育，为大学课程提供研究和教学用途。 AI
影响 证明了在可访问硬件上进行分布式大模型训练的可行性，可能降低小型研究实验室和教育机构的门槛。
排序理由 该集群描述了一篇研究论文，详细介绍了分布式大模型训练和微调的概念验证部署。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
