Dolphin Inference Network

Aphrodite Engine 更名为 Sonar，增强 vLLM 推理能力

Sonar，前身为 Aphrodite Engine，是 Hugging Face 兼容的语言和多模态模型的推理引擎。它基于 vLLM，并包含连续批处理、分页 KV 缓存管理和优化内核等功能。该项目最初由 PygmalionAI 和 Ruliad 为角色扮演基础设施开发，现已更名并更新，增强了对各种模型格式、量化方法和部署功能的支持，包括自动工具调用和多模态模型服务。