TensorSharp，一个开源 LLM 推理引擎，发布了其 GGML Vulkan 后端的初始版本，旨在提高 GPU 上的性能。该更新已在 Nvidia 和 Intel GPU 上成功测试，开发者正在寻求 AMD GPU 用户反馈。将 TensorSharp 的 Vulkan 后端与 llama.cpp 进行的基准测试显示结果不一，TensorSharp 在某些场景下更快，而在其他场景下（尤其是首次标记时间）则较慢。 AI
影响 提高本地 LLM 的 GPU 推理性能，可能加速使用 TensorSharp 的应用程序。
排序理由 这是对一个开源 LLM 推理引擎的更新，增加了一个新的后端。它不是来自前沿实验室、重要的行业举措或学术研究的发布。
- Gemma 4 12B it
- Gemma 4 E4B it
- GGML
- Intel(R) UHD Graphics
- llama.cpp
- Nvidia Geforce RTX 3080 Laptop GPU
- Ollama
- OpenAI
- TensorSharp
- Vulkan
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
