实体
Albert Tseng
Albert Tseng
PulseAugur coverage of Albert Tseng — every cluster mentioning Albert Tseng across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
大型查找层为稀疏模型提供高效替代方案
研究人员推出了一种新颖的稀疏语言模型架构——大型查找层（L$^3$），旨在通过使用静态令牌路由来改进混合专家（MoE）模型。这种方法通过在嵌入中缓存信息，使模型能够有效地平衡内存和计算，提供了一种系统友好的设计，可实现更快的训练和CPU卸载推理。在拥有高达26亿活跃参数的Transformer上的实验表明，L$^3$在语言建模和下游任务上的表现优于密集模型和同等稀疏度的MoE模型。
-
新的量化方法提高了AI模型压缩和光谱性能
研究人员开发了新的模型量化方法，这是一种用于压缩AI模型的技术。一种名为YAQA的方法，为量化中的端到端误差界限提供了理论结果，其性能比GPTQ/LDLQ等现有方法提高了约30%，甚至超过了感知量化训练。另一项研究探索了随机舍入（SR），证明它是一种谱正则化器，不仅增加了矩阵的最小奇异值，还提升了频谱尾部整个奇异值簇。