Spot Compute

RAG平台扩展解决方案使用事件驱动队列和Spot Compute

本文详细介绍了一种用于扩展检索增强生成（RAG）平台的事件驱动架构，特别适用于处理大量企业文档。所提出的解决方案使用解耦的异步摄取和基于积压工作的Pod自动扩展（KEDA），在Amazon EKS上利用Spot Compute来高效管理不可预测的流量高峰。该方法旨在通过根据队列深度而不是传统指标来扩展工作Pod，从而平衡高吞吐量与成本节省，避免闲置计算成本和用户因长文档处理积压而产生的挫败感。