Jenny 应用是一款免费、MIT 许可的桌面应用程序,用于运行本地大型语言模型,经过一年多的开发现已发布。该应用由一位独立开发者创建,提供工具调用、回滚功能和集成 IDE 等特性,旨在提供私密且无缝的用户体验。它支持 llama.cpp 和 vLLM 等多种本地 LLM 运行时,并致力于提升小型模型的性能,同时融入了命令批准和文件检查点等安全功能。 AI
影响 为用户提供了一个免费的开源工具,可以在本地运行 LLM,增强了 AI 模型的隐私性和可控性。
排序理由 发布了一个用于运行本地 LLM 的桌面应用程序。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →