实体 Null-space-Aware Binary Factorization

Null-space-Aware Binary Factorization

PulseAugur coverage of Null-space-Aware Binary Factorization — every cluster mentioning Null-space-Aware Binary Factorization across labs, papers, and developer communities, ranked by signal.

Show in brief

总计 · 30天

90 天内 1

发布 · 30天

90 天内 0

论文 · 30天

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_244950 · Sep 10 · 04:00

新框架实现 LLM 的真正 1 位量化

研究人员开发了一个名为 All for 1-Bit (AF1) 的新颖框架，以实现大型语言模型 (LLM) 的真正 1 位训练后量化。AF1 通过结合零空间感知二值分解 (NABF) 和分层 Shapley 分配 (HiSA) 来解决现有二值化方法超出标称 1 位存储目标的问题。在 LLaMA、Qwen 和 Gemma 等模型上的实验表明，AF1 在困惑度和准确性方面显著优于其他基于二值化的 PTQ 方法，同时与 bfloat16 相…

新框架实现 LLM 的真正 1 位量化