PulseAugur
中
实时 00:54:31
实体 AbsMax

AbsMax

PulseAugur coverage of AbsMax — every cluster mentioning AbsMax across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_369449 ·

    LLM 量化失败:离群值将 99.9% 的数据归零

    一篇技术博文详细介绍了大型语言模型 (LLM) 的 INT4 和 INT8 量化中因离群值引起的关键故障模式。当 4,096 个浮点数块中存在单个离群值时,它会导致其中 4,095 个数字在 INT4 中被量化为零,从而有效地破坏了非离群值的信号。这种现象解释了为什么每张量 INT4 量化很少使用,为什么 GPTQ 等方法中的组大小有限,以及 `llm_int8_threshold` 等参数的用途。该帖子建议修复方法包括防止离群值主导…