Whisper ASR webservice

AI服务在24GB GPU上消耗17.8GB显存，多租户测试结果

一项近期实验详细说明了在单个GPU上同时运行多个AI服务实际消耗的显存量。测试使用了一块拥有24GB显存的NVIDIA RTX 3090，托管了一个Whisper ASR网络服务、一个文本转语音模型以及一个用于RAG管道的嵌入模型。总使用量平均为17.8GB，峰值达到23.4GB，这表明由于工作集、框架开销和数据缓冲区等因素，服务的实际显存需求远高于模型权重本身。