一位用户在运行离线大型语言模型以处理私密文档时遇到了困难。他们目前使用的是Qwen2.5-7B模型，认为它不如Gemini强大，但由于其离线特性，适合处理财务或税务文件等敏感任务。用户承认离线模型的性能可能无法与基于云的替代方案相媲美。 AI
影响 凸显了用户在使用离线LLM处理敏感数据时遇到的挑战，表明当前在私密文档处理能力方面存在差距。
排序理由 用户表达了个人困难以及对AI模型的看法。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
I’m having a lot of trouble with the off-line model I’m trying to run with chronicles so that people can do really private or sensitive documents. I’m using qwen2.5vl:7b at the moment because it’s not too big. It doesn't get anywhere close to Gemini's capabilities but I recognise…