实体
TornadoVM
TornadoVM
PulseAugur coverage of TornadoVM — every cluster mentioning TornadoVM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
时间线
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
Java 引擎 Llama 3.2 1B 速度达 96.65 tokens/秒
一个纯 Java GPU 推理引擎在 Llama 3.2 1B 模型上实现了 96.65 tokens/秒的吞吐量。Michalis Papadimitriou 探讨了这一进展,该进展利用 GPULlama3.java 和 TornadoVM 在 Java 虚拟机 (JVM) 中实现 GPU 加速的大型语言模型推理。该项目提供了此实现的开源代码。
-
Java框架直接编译为CUDA,用于GPU LLM推理
一个名为 jitLLM 的新 Java 框架已被开发出来,它可以将 Java 字节码直接编译为 CUDA,从而在 NVIDIA GPU 上进行 LLM 推理,而无需 Python 或 C++ 辅助程序。jitLLM 由曼彻斯特大学的 TornadoVM 团队与 Red Hat 合作开发,声称性能可达到 llama.cpp 的约 90%。该框架支持 Llama 3、Mistral 和 Qwen 等多种模型,并使用 TornadoVM 的…
-
TornadoVM 6.0.0 发布,无需 JVMCI 和 JNI,速度更快
TornadoVM 发布了 6.0.0 版本,这是一个重要的更新,移除了对 JVMCI 和 JNI 的依赖。新版本兼容 JDK 21 至 27 的发行版,并声称冷启动时间缩短了 37%。性能也得到了显著提升,在使用 Tensor-Core MMA 加速的 GEMM 操作上速度提高了 4.1 倍。