Model Cascades

研究发现：AI模型级联易受数据扰动影响

一篇新发表在arXiv上的论文探讨了模型级联在面对数据扰动时的准确性和鲁棒性。这些级联模型旨在通过将简单输入路由到小型模型、复杂输入路由到大型模型来减少AI模型的能耗，但输入退化会损害它们的性能。研究确定了三种故障模式：路由信号中断或延迟机制抑制预测，导致即使预测看似稳定，结果也可能不可靠。研究结果强调，需要超越纯粹的准确性评估，关注能量效率模型级联在分布变化下的路由可靠性。