一位用户开发了一个自定义的、更小的 Qwen 35B-A3B 模型版本,该版本能够在 4GB GPU 上运行,同时保持高质量的输出。这个名为 Microflare 的项目旨在通过实现本地 AI 执行,使用户能够获得更大的控制权和隐私,从而避免数据记录和对大型数据中心的依赖。 AI
影响 使强大的大型语言模型在消费级硬件上具有更广泛的可访问性,促进本地 AI 部署和用户控制。
排序理由 发布了一个具有特定性能特征的修改后的开源模型。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →