mlx-lm

Gemma 4 12B 本地设置讨论帖收集用户硬件和性能数据

Google 的 Gemma 4 12B 多模态模型现已发布，社区迅速推出了各种量化版本以供本地设置。r/MachineLearning 上的一个 Reddit 讨论帖正在收集用户关于硬件要求、量化方法和每秒令牌数等性能指标的经验。用户正在分享他们的设置细节，包括芯片、内存、GPU、运行时环境以及实际用例，以确定该模型在消费级硬件上的实际性能基准。