ServerlessT2I

新的ServerlessT2I系统优化文本到图像工作流

研究人员开发了ServerlessT2I，一个旨在优化无服务器平台上的文本到图像（T2I）工作流的新系统。与将整个工作流视为单个GPU函数的现有单体方法不同，ServerlessT2I将T2I工作流分解为可独立管理的模型函数。这允许按模型进行扩展，更有效地利用资源，并在多租户环境中提高公平性。该系统利用空闲的GPU内存来减少加载和通信开销，据报道，与现有系统相比，其请求速率提高了两倍，或节省了三倍的GPU资源。