VIDRAFT开发了Darwin-180B-RSI,一个拥有1800亿参数的语言模型,它通过仅更新0.02%的权重完成了自我改进过程。这种新颖的方法允许在冻结大部分参数的同时高效地更新模型。此外,该模型可以在消费级硬件上运行,通过SSD权重流实现每秒4.17个token的吞吐量,从而使大规模模型更加易于访问。 AI
影响 展示了一条通往更高效的模型更新和大型语言模型在消费级硬件上更广泛可访问性的道路。
排序理由 该项目详细介绍了一种更新大型语言模型的新颖方法及其在消费级硬件上的高效部署,这属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →