Cortex AISQL

新框架通过在线学习优化LLM在数据处理中的使用

研究人员开发了一个面向语义数据处理系统的新型组合在线学习框架，专门用于优化昂贵的大型语言模型（LLM）的使用。该方法允许多个学习组件在执行时做出决策并在线优化其学习的产物，使每个训练器步骤都能适应LLM的往返延迟。使用Cortex AISQL进行的案例研究表明，组合三个组件——一个记忆层、一个每次调用的过滤器排序学习器和一个每批次的级联路由学习器——带来了显著的性能提升，在代表性工作负载上实现了接近8倍的实际加速。