mini-vllm-rs

Rust LLM 推理引擎探索异构服务的权衡

一位开发者创建了一个名为 mini-vllm-rs 的单节点 LLM 推理引擎，该引擎用 Rust 编写，支持 macOS，并集成了连续批处理和异构 CPU/Metal GPU 执行等功能。该项目探讨了 LLM 服务中的复杂性，包括框架选择和批处理策略如何影响性能，并展示了对基于矩阵形状的自适应内核的需求。开发者还讨论了异构推理中的权衡，将 NVIDIA 的 Vera Rubin/Groq 和 AWS 的 Trainium/Cereb…