一款名为 Grout 的新 Rust 推理引擎已被开发出来，它提供安全的 GPU 推理，性能可与 vLLM 和 SGLang 等现有解决方案相媲美。Grout 使用 cuTile Rust 构建，通过编译器验证确保内存安全和数据竞争自由，使其成为值得信赖的 AI 生成代码选项。该引擎表现出强大的性能，在 RTX 5090 上实现了 Qwen3-4B 的 171 tokens/sec，在 B200 上实现了 Qwen3-32B 的 82 tokens/sec，并有进一步优化的潜力。 AI
影响 增强了 AI 工作负载 GPU 推理的信任度和性能，有可能加速 Rust 在 AI 开发中的应用。
排序理由 该集群讨论了一篇研究论文和一个使用 Rust 构建的新推理引擎，详细介绍了其性能和安全特性。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
