Marco Martos

新框架AutoCompress使用硬件引导的压缩优化LLMs

研究人员开发了AutoCompress，一个新颖的框架，通过直接将硬件和工作负载约束纳入压缩过程来优化大型语言模型（LLMs）。与关注参数计数的传统方法不同，AutoCompress使用可微分架构搜索来联合优化模型结构，确保压缩后的模型满足特定的延迟、吞吐量和内存要求。这种方法在各种硬件平台和用例中都显示出准确性和效率的显著提高，优于现有的最先进的剪枝技术。