使用新的开源应用程序在本地运行 Google 的 Gemma LLM

一款名为 Off Grid AI Desktop 的新开源应用程序允许用户在 Mac 或 Windows 电脑上本地运行 Google 的 Gemma 语言模型。这种方法通过将所有提示和数据保留在用户机器上，优先考虑用户隐私，无需依赖基于云的服务和相关数据记录。该应用程序支持各种 Gemma 模型尺寸，并包括内置的 Hugging Face 浏览器以下载其他模型、具有视觉模型图像分析功能、文档查询以及通过与 whisper.cpp 和语音模型的集成进行语音交互等功能。通过 Mac 上的 Metal 或 Windows 上的 CUDA 或 Vulkan 利用硬件加速，并采用量化技术来减小模型尺寸和内存需求，以在消费级硬件上获得更好的性能。 AI

影响 能够在消费级硬件上实现本地、私密的 LLM 使用，绕过云端依赖，增强敏感任务的数据安全性。

排序理由 该项目描述了一个集成现有模型的新应用程序，而不是一个新的模型发布或核心研究。

在 dev.to — LLM tag 阅读 →

• Apple Silicon
• ChatGPT
• CUDA
• Gemma
• GGUF
• .google
• Hugging Face
• llama.cpp
• Mac
• Metal
• Microsoft Windows
• NVIDIA
• Off Grid AI Desktop
• Vulkan
• whisper.cpp

• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →