LLM-Adapter

新流水线将LLM-Adapter服务的GPU效率提升60%

研究人员开发了一个数据驱动的流水线，用于优化分布式LLM-Adapter服务的GPU效率，旨在通过实现近乎峰值利用率来最小化资源需求。该系统使用数字孪生来准确预测性能，一个在此数据上训练的蒸馏机器学习模型，以及一个用于放置适配器的贪婪算法。该方法已证明在目标工作负载下所需的GPU数量减少了60%，同时还显示出用于其他优化目标（如延迟最小化）的多功能性。