研究人员开发了一个数据驱动的流水线，用于优化分布式LLM-Adapter服务的GPU效率，旨在通过实现近乎峰值利用率来最小化资源需求。该系统使用数字孪生来准确预测性能，一个在此数据上训练的蒸馏机器学习模型，以及一个用于放置适配器的贪婪算法。该方法已证明在目标工作负载下所需的GPU数量减少了60%，同时还显示出用于其他优化目标（如延迟最小化）的多功能性。 AI
影响 降低了LLM服务运营的基础设施成本并提高了可扩展性。
排序理由 这是一篇研究论文，详细介绍了一种优化LLM服务中GPU效率的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Digital Twin
- Ferran Agulló i Vidal
- Gotit.pub
- graphics processing unit
- Hugging Face
- LLM-Adapter
- machine learning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
