PulseAugur
中
实时 10:05:35
实体 Any-Precision-LLM

Any-Precision-LLM

PulseAugur coverage of Any-Precision-LLM — every cluster mentioning Any-Precision-LLM across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_275374 ·

    MatGPTQ 实现嵌套量化大语言模型的推理效率

    研究人员开发了一种名为 MatGPTQ 的新方法，用于高效运行已量化以使用更少比特的大语言模型（LLMs）。该方法允许单个模型检查点服务于多种精度级别，从而减少内存和延迟。MatGPTQ 通过使用更快的训练后量化方法并引入支持批处理的专用推理内核，改进了现有技术，与标准方法相比实现了显著的加速。