PulseAugur
中
实时 07:46:30
实体 Fine Grouping (CoRFiG)

Fine Grouping (CoRFiG)

PulseAugur coverage of Fine Grouping (CoRFiG) — every cluster mentioning Fine Grouping (CoRFiG) across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_174204 ·

    GyRot框架通过新颖的低比特量化技术提升LLM推理性能

    研究人员开发了GyRot，一个新颖的框架和硬件加速器，旨在提高大型语言模型（LLM）推理的低比特量化效率。GyRot通过引入粗粒度旋转、细粒度分组（CoRFiG）和谐波对齐排列（HAP），解决了旋转和分组量化结合时常见的精度下降和硬件开销问题。该方法提高了可量化性，并降低了缩放因子所需的精度。该框架还包括一个基于整数的反量化策略，以进一步降低硬件成本。在INT4张量处理单元架构上实现时，GyRot在LLaMA系列模型上实现了最先进的4…