resumability

LLM 流水线经济学：可恢复性和成本感知路由是关键

构建生产就绪的 LLM 流水线不仅仅是进行基本的函数调用；它需要健壮的功能，如可恢复性和成本感知路由，以处理故障和优化支出。大规模运行时，云推理成本出奇地低，因此主要挑战不是省钱，而是理解何时以及如何衡量本地处理与云处理之间的交叉点。诸如 ProgressStore（用于原子状态保存）和 ModelRouter（用于分层路由）之类的关键组件使流水线能够在不进行重复工作或丢失数据的情况下从中断中恢复。