新的 C#/.NET 引擎 TensorSharp 性能媲美 llama.cpp

TensorSharp 是一款新的 GGUF 模型推理引擎，作为纯 C#/.NET 替代品出现，可与 llama.cpp 等成熟的 C/C++ 引擎相媲美。由 zhongkaifu 开发，它提供了广泛的模型和后端支持，包括 CUDA、Metal 和 Vulkan，以及分页 KV 缓存和连续批处理等功能。基准测试表明，TensorSharp 的性能与 llama.cpp 相当，在某些场景下 TensorSharp 速度更快，而在其他场景下则略有落后，这凸显了 .NET 在处理要求严苛的 AI 任务方面日益成熟。 AI

影响 可能拓宽 .NET 开发者进行本地 LLM 推理的可访问性。

排序理由 新软件工具发布，集成了现有 AI 模型。

在 dev.to — LLM tag 阅读 →

• C#
• CUDA
• Gemma
• GGUF
• llama.cpp
• Metal
• Qwen
• TensorSharp
• vLLM
• Vulkan
• zhongkaifu

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →