MLP-mixing recursion

研究：压缩用于边缘AI的递归推理器会破坏全局推理能力

一篇新的研究论文探讨了将递归推理模型压缩以部署到边缘硬件所面临的挑战。研究发现，标准的压缩技术，如INT4剪枝和蒸馏，可以保留局部预测，但会显著降低全局推理能力。研究人员发现了一种架构依赖性，指出MLP混合递归比注意力机制更容易受到压缩错误的影响。他们提出了一种解决方案，使用未经重新训练的逐通道校准INT4压缩，成功逆转了性能下降。该论文还引入了“进位轨迹保真度”作为衡量压缩损害和恢复能力的指标，提供了一种能够让模型适应微控制器的部署策略。