cuTile Rust

Rust 推理引擎 Grout 提供安全的 GPU 性能，可与 vLLM 媲美

一款名为 Grout 的新 Rust 推理引擎已被开发出来，它提供安全的 GPU 推理，性能可与 vLLM 和 SGLang 等现有解决方案相媲美。Grout 使用 cuTile Rust 构建，通过编译器验证确保内存安全和数据竞争自由，使其成为值得信赖的 AI 生成代码选项。该引擎表现出强大的性能，在 RTX 5090 上实现了 Qwen3-4B 的 171 tokens/sec，在 B200 上实现了 Qwen3-32B 的 82…