Dream Futures Tech

开发者使用预热的 EC2 和 Lambda 备用方案来克服 9 秒无服务器聊天机器人超时限制

一位开发者概述了一种经济高效的方法，可以在遵守严格的 9 秒无服务器函数超时限制的同时，将聊天机器人集成到网站中。该解决方案涉及在持续预热的低成本 EC2 实例上运行轻量级 LLM，如 GPT-4-All-J 或 Mistral-7B-Instruct。Lambda 函数充当包装器，将请求转发到 EC2 实例，并在推理超过超时时提供静态 FAQ 备用方案。