jitLLM

Java框架直接编译为CUDA，用于GPU LLM推理

一个名为 jitLLM 的新 Java 框架已被开发出来，它可以将 Java 字节码直接编译为 CUDA，从而在 NVIDIA GPU 上进行 LLM 推理，而无需 Python 或 C++ 辅助程序。jitLLM 由曼彻斯特大学的 TornadoVM 团队与 Red Hat 合作开发，声称性能可达到 llama.cpp 的约 90%。该框架支持 Llama 3、Mistral 和 Qwen 等多种模型，并使用 TornadoVM 的…