一位 Reddit 用户报告称,ds4 flash 0731 UD-IQ2_M 模型在大约 50 分钟内成功为 Kimi K2 IQ1_0 编写了一个自定义金属内核。虽然性能被描述为“一般”,但比 CPU 好,在 Mac Studio 上实现了大约 4 tokens/s 的解码和 20 的预填充(针对 K3 Q1_0),用户认为对于这么小的模型来说,这已经令人印象深刻。用户还指出,2 位 unsloth 版本与其他量化版本的性能相当,尽管他们仍然更喜欢 4 位 GLM 5.2。 AI
影响 展示了 AI 在专业代码生成方面日益增长的能力,有可能加速利基硬件的开发。
排序理由 用户生成的关于 AI 模型执行特定编码任务的报告。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →