研究人员开发了 BubbleTea,一个新颖的共置系统,旨在提高利用专家混合(MoE)架构的大型语言模型(LLM)微调效率。该系统通过重新利用“专家并行气泡”——由 GPU 间不均衡的 token 分布引起的利用率不足的时期——来解决 LLM 推理期间 GPU 的空闲容量,用于微调任务。BubbleTea 预测并用微调工作填充这些气泡,重用已加载的模型权重,并已证明与 LLMStation 等现有共置系统相比,微调吞吐量显著提高,同时对推理延迟的影响最小。 AI
影响 该系统可以显著降低微调大型语言模型的成本并提高其速度,从而使定制化更加易于实现。
排序理由 该集群描述了 arXiv 论文中提出的一种新颖系统和方法,详细介绍了 LLM 微调效率方面的技术进步。
在 Hugging Face Daily Papers 阅读 →
- A100
- CUDA MPS
- fine-tuning
- graphics processing unit
- LLM
- LLMStation
- mixture of experts
- arXiv
- Hugging Face
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →