实体 OrpQuant

OrpQuant

PulseAugur coverage of OrpQuant — every cluster mentioning OrpQuant across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_50600 · May 25 · 14:06

新研究探讨Transformer模型的量化优势

两篇新研究论文探讨了提高Transformer模型效率的方法，特别是在边缘设备上部署方面。第一篇论文介绍了OrpQuant，一个无乘法器、二的幂量化的框架，将LLaMA-2-7B等模型的校准时间缩短至约15分钟。第二篇论文研究了残差自由Transformer，证明它们通过保持近乎高斯激活，比传统残差模型对低比特量化表现出更强的鲁棒性。