Sebastián Andrés Cajas Ordóñez

好奇心驱动的MoE框架提升了边缘设备的AI模型稳定性和准确性

研究人员开发了一种新颖的好奇心驱动的量化混合专家（MoE）框架，专为资源受限的设备设计。该方法解决了在进行激进量化时保持准确性的挑战，同时确保可预测的推理延迟。通过利用贝叶斯认知不确定性，该框架将任务路由到异构专家，包括具有不同比特精度的BitNet和BitLinear模型。在音频分类基准上的评估表明，在准确性损失极小的情况下，实现了显著的节能和压缩，同时跨折方差大幅降低，表明稳定性有所提高。