实体 ZIP-SR

ZIP-SR

PulseAugur coverage of ZIP-SR — every cluster mentioning ZIP-SR across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_289613 · Oct 9 · 04:00

新的4位量化方法提高了AdamW优化器性能

研究人员开发了量化AdamW算法中优化器状态的新方法，特别关注4位量化。这些技术，ZIP-SR和ZE-EDEN，旨在减少存储并最小化量化引入的误差，这会影响后续的自适应更新。在1.3亿到27亿参数的生成式预训练Transformer和Llama风格模型上的实验表明，这些方法与标准的32位AdamW相比，显著减小了性能差距，其中一种方法将验证损失差距降低了70%。