一种名为 Gyro 的新量化方法已经出现，与 EXL3 量化技术相似。虽然两者都利用了 QTIP 和 Hadamard 旋转等类似底层技术，但 Gyro 使用的格子状态大小略小，并将权重编码为 128 权重块，而 EXL3 使用 256 权重块。然而，Gyro 与 EXL3 不直接兼容，并且其创建过程目前是闭源的，这导致社区分裂，而没有明显的性能优势。 AI
影响 可能导致本地 LLM 社区分裂，并引发关于新的闭源量化方法必要性的争论。
排序理由 讨论了 AI 社区内一种新的技术方法，将其与现有方法进行比较，并对分裂和缺乏已证明的益处表示担忧。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
