ILGPU

开发者创建 C# 原生 Ollama 替代品用于 LLM 推理

一位开发者使用 SpawnDev.ILGPU.ML 完全用 C# 创建了一个新的大型语言模型 (LLM) 推理服务器。该服务器旨在成为 Ollama 的即插即用替代品，支持 Ollama 的 API 并直接从 Ollama 缓存读取模型，无需重新下载。虽然仍处于早期开发阶段，但其交互式聊天性能与 Ollama 相当，令牌生成速度接近成熟的 llama.cpp 后端。该项目旨在提供一个完全 C# 原生的解决方案来运行 LLM，包括分词器…