Off Grid AI Desktop是一款新的、免费的、开源的应用程序,允许用户在Windows PC或Mac上本地运行大型语言模型。该软件支持离线使用,无需订阅或云服务。它利用硬件加速,在Windows上使用支持CUDA的GPU,在Mac上使用Metal,以实现更快的处理速度,如果没有专用GPU,则可以回退到CPU。用户可以直接在应用程序内下载和管理模型,性能取决于可用的VRAM或系统RAM量。 AI
影响 实现LLM的离线使用,增强隐私并减少个人对云服务的依赖。
排序理由 新软件发布,支持本地LLM执行。
- AMD
- Apple Silicon
- ChatGPT
- CUDA
- GeForce RTX 4060
- GGUF
- Hugging Face
- Intel Arc
- llama.cpp
- Mac
- Metal
- Microsoft Windows
- NVIDIA
- Off Grid AI Desktop
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →