TensorSharp 增加 Vulkan 后端以进行 LLM 推理，并与 llama.cpp 进行基准测试

TensorSharp，一个开源 LLM 推理引擎，发布了其 GGML Vulkan 后端的初始版本，旨在提高 GPU 上的性能。该更新已在 Nvidia 和 Intel GPU 上成功测试，开发者正在寻求 AMD GPU 用户反馈。将 TensorSharp 的 Vulkan 后端与 llama.cpp 进行的基准测试显示结果不一，TensorSharp 在某些场景下更快，而在其他场景下（尤其是首次标记时间）则较慢。 AI

影响 提高本地 LLM 的 GPU 推理性能，可能加速使用 TensorSharp 的应用程序。

排序理由 这是对一个开源 LLM 推理引擎的更新，增加了一个新的后端。它不是来自前沿实验室、重要的行业举措或学术研究的发布。

在 dev.to — LLM tag 阅读 →

• Gemma 4 12B it
• Gemma 4 E4B it
• GGML
• Intel(R) UHD Graphics
• llama.cpp
• Nvidia Geforce RTX 3080 Laptop GPU
• Ollama
• OpenAI
• TensorSharp
• Vulkan

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →