一位 Reddit 用户正在为其配备 Nvidia RTX 5070 Ti(16GB 显存)的本地计算机寻找一款高效运行的、无审查的大型语言模型(LLM)。他们发现 Gemma 模型速度很快但细节不足,而 Qwen2.5-VL-32B 由于显存限制速度太慢。用户特别寻找参数量在 12B 到 14B 之间,或是一个轻量级的约 8B 的视觉模型,能够完全装入 16GB 显存(Q4/Q5 量化),速度超过 50 tokens/秒,并且没有内容限制。 AI
排序理由 用户查询特定的软件/硬件配置。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →