实体 GateRQ

GateRQ

PulseAugur coverage of GateRQ — every cluster mentioning GateRQ across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_326908 · Oct 28 · 04:00

新的GateRQ方法提高了LLM的内存效率和速度

研究人员开发了一种名为GateRQ的新方法，以提高大型语言模型中量化条件内存的效率。该技术解决了低比特量化不成比例地影响长尾事实的问题。GateRQ通过将行存储为一系列1比特残差码，并且仅为高排名查找访问更深的内存级别来优化内存使用，从而显著降低了GPU内存需求并提高了吞吐量。