实体
HyQuant
HyQuant
PulseAugur coverage of HyQuant — every cluster mentioning HyQuant across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
HyQuant框架通过混合精度量化优化LLM注意力
研究人员开发了HyQuant，一个新颖的混合精度量化框架，旨在提高大型语言模型（LLM）注意力机制的效率。该方法将大部分注意力状态量化为低比特格式，同时将垂直线令牌和局部窗口状态等关键组件保留在更高精度下。HyQuant旨在减少量化误差，并在各种任务和模型中保持准确性，为LLM注意力优化提供了实际可行性。
-
新方法大幅缩小LLM规模并提升推理速度
研究人员开发了两种新颖的方法，可在不显著损失性能的情况下大幅减小大型语言模型（LLM）的规模和计算成本。Squeeze10-LLM采用分阶段混合精度量化框架，通过将大部分权重量化到1比特，其余量化到4比特，实现了平均每权重1.6比特，提高了零样本任务的准确性。HyQuant专注于优化注意力模块，通过保留关键的“垂直线”令牌和局部窗口以高精度，同时量化剩余状态，从而在各种模型上实现更快的推理和更少的内存使用。