Pluralis Research 已成功使用分布在四个国家的14台消费级Mac组成的分布式集群，对其Stoa模型进行了强化学习后训练。这种新颖的方法利用普通的家庭互联网连接进行同步，并在Mac上使用MLX进行int8推理，同时由一块B200 GPU处理bf16梯度更新。该系统在PaperSearchQA基准测试中取得了显著的改进，将cover pass@1从29%提高到63%，将search rate从22%提高到84%，证明了该模型学习工具使用的能力。此方法旨在利用消费级硬件庞大的聚合闲置计算能力来支持开源AI开发，其计算能力可能与当前前沿模型相当。 AI
影响 展示了一条利用消费级硬件进行分布式AI训练的可行途径，可能使大规模模型开发的访问更加普及。
排序理由 该条目描述了一种使用消费级硬件进行分布式AI训练的新颖研究方法，并报告了基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
