Modal 推出了一项名为“粘性会话”的新功能,旨在增强其对有状态应用程序的无服务器计算能力。此功能可确保单个用户会话中的所有请求都路由到同一容器,这是语音转文本模型、对话代理和多人游戏等应用程序的关键要求。粘性会话建立在 Modal 现有的低延迟 Modal Servers 基础设施之上,该基础设施包括一个内部无状态代理,用于高效路由和负载均衡。新功能解决了固定路由、会话生命周期管理和基于会话的自动扩展的需求,超越了之前仅提供尽力亲和性的请求级别路由。 AI
影响 增强了实时推理和对话代理等有状态 AI 应用程序的无服务器功能。
排序理由 这是特定公司平台的产品更新,并非前沿发布或重大的行业范围事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →