Denis Makhov

新的 COMPOT 框架提供高效的 Transformer 模型压缩

研究人员开发了 COMPOT，一个用于压缩 Transformer 模型的新型无训练框架。该方法利用校准数据集通过正交字典估计稀疏权重分解，从而实现高效的闭式更新。COMPOT 还采用动态分配策略，自适应地将压缩率分配到不同层，旨在与现有的低秩和稀疏基线相比，实现更好的质量-压缩权衡。该框架兼容训练后量化，以实现极高的压缩水平。