Crosspool

CrossPool 引擎优化稀疏 MoE LLM 的服务

研究人员推出 CrossPool，这是一种新颖的服务引擎，旨在高效管理多个稀疏专家混合（MoE）大语言模型（LLM）。该系统解决了托管大量冷模型（请求不频繁但仍消耗大量内存的模型）带来的 GPU 内存挑战。CrossPool 将模型的馈送网络（FFN）权重与其 KV 缓存分离，创建了独立的内存池。这允许跨冷模型整合 FFN 权重，并为活动请求动态分配 KV 缓存，从而提高 GPU 内存利用率并支持更长的上下文。