一篇新的研究论文探讨了 RoPE 对齐的 Q/K 旋转在语言模型的动态 4 位量化中的有效性。研究发现，虽然成对旋转可以与 RoPE 交换，但在测试的动态 W4A4KV4 设置中，它们并未提高精度。用这些配置替换全头 Hadamard 变换实际上增加了多个检查点和上下文长度的困惑度。 AI
影响 这项研究表明，量化的特定结构优化可能不会带来性能提升，这凸显了在模型压缩和精度之间取得平衡的复杂性。
排序理由 该集群包含一篇详细介绍新型模型量化方法的论文。[lever_c 从研究中降级：ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
