Reddit 的 r/LocalLLaMA 子版块上的一位用户分享了他们在 Jetson AGX Thor 上运行 MiMo-2.6-Pro 模型的经验,速度达到了每秒 0.646 个 token。该用户强调了开源模型可以追溯和重放推理过程的每一步,并将其与无法看到内部工作原理的闭源模型进行了对比。该模型(FP8 格式,约 566GB)从磁盘加载,并通过 128GB 内存处理,用户幽默地将速度比作“手工挤压热狗的制造过程”。 AI
影响 强调了开源模型的透明度与在消费级硬件上性能之间的权衡。
排序理由 用户生成的内容,讨论了开源模型在特定硬件上的性能和透明度。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →