cuTile Rust

Rust实现安全GPU推理，性能媲美vLLM

研究人员开发了cuTile Rust，这是一个利用Rust的所有权和借用检查来验证内存安全和数据竞争自由的编程模型，从而实现安全的GPU推理。该方法已集成到Grout中，这是一个使用cuTile Rust和Hugging Face构建的推理引擎，在Qwen3模型的性能上可与vLLM和SGLang相媲美。安全特性在性能上几乎没有成本，安全GEMM操作与手工编写的低级版本相比差异极小。