Kunlun XPU

百度发布适用于XPU硬件的vLLM昆仑插件

百度发布了vLLM昆仑，这是一个社区维护的插件，使vLLM推理引擎能够在昆仑XPU硬件上运行。该集成允许在昆仑硬件上无缝执行各种开源LLM，包括基于Transformer的模型、混合专家（MoE）模型、嵌入式模型和多模态模型。该插件支持广泛的模型和功能，如量化、LoRA微调、优化注意力机制、推测性解码和张量并行，同时还提供了一个兼容OpenAI的API用于模型服务。