一位 Mastodon 用户分享了他们使用 mlx-community/Ornith-1.0-35B-OptiQ-4bit 模型的体验，并称赞其速度非凡。该帖子还提到了使用 Rapid-MLX 和混合缓存配置。 AI
影响 强调了在特定硬件/软件配置下，LLM 推理的潜在性能提升。
排序理由 用户对特定模型和工具的体验。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
mlx-community/Ornith-1.0-35B-OptiQ-4bit 模型因速度快而受到称赞
报道来源 [1]
-
这速度太快了，这是什么... mlx-community/Ornith-1.0-35B-OptiQ-4bit Rapid-MLX --hybrid-cache-entries 6 # AI # LLM
むっちゃ速いんだけど何これ… mlx-community/Ornith-1.0-35B-OptiQ-4bit Rapid-MLX --hybrid-cache-entries 6 # AI # LLM