CMAPSS

新框架优化流式系统中的大语言模型调用

研究人员开发了一个新颖的框架，用于决定在流式推理管道中何时调用昂贵的大语言模型（LLMs）。该方法将问题构建为一个基于风险的序贯停止问题，其中当风险函数超过设定阈值时，触发策略将被激活。该框架提供了性能方面的理论保证，包括事件间隔时间的界限、遗憾分析以及自适应阈值的收敛特性。在涡扇发动机退化数据上的实证验证表明，所提出的异常分数驱动的风险函数显著优于基线方法，实现了高诊断质量和次线性遗憾。