Qwen 80B

80B Qwen大语言模型通过高级压缩在4.3GB内存上运行

在边缘设备上运行大型语言模型的突破已通过Qwen 80B模型得到展示，据报道该模型仅使用了4.3GB内存即可运行。这一成就归功于先进的压缩技术，如混合精度和显著性感知压缩，它们能够识别并移除冗余的模型权重。进一步的优化包括分组权重共享、结构化剪枝和字典编码，从而减小了模型的有效大小。Apple的硬件，特别是其统一内存架构和支持稀疏张量的AMX-3协处理器，在实现这种高效的设备端推理方面发挥着至关重要的作用。