PulseAugur
中
实时 19:31:30
实体 4-Bit Quantisation

4-Bit Quantisation

PulseAugur coverage of 4-Bit Quantisation — every cluster mentioning 4-Bit Quantisation across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_200179 ·

    RoPE 对齐的旋转未能提高 4 位量化精度

    一篇新的研究论文探讨了 RoPE 对齐的 Q/K 旋转在语言模型的动态 4 位量化中的有效性。研究发现，虽然成对旋转可以与 RoPE 交换，但在测试的动态 W4A4KV4 设置中，它们并未提高精度。用这些配置替换全头 Hadamard 变换实际上增加了多个检查点和上下文长度的困惑度。