Modal 推出超低延迟服务器，适用于高性能应用

Modal 推出了名为 Modal Servers 的新功能，旨在为需要高性能的应用（如交互式代理的 LLM 推理）提供超低延迟服务器托管。这项新产品利用了一个由流式边缘代理、智能无状态代理和计算负载均衡器组成的路由层，该层构建在 Pingora、Envoy 和 Spanner 等技术之上。与提供类似 TCP 的内置可靠性功能的 Modal Web Functions 不同，Modal Servers 针对速度进行了优化，其运行方式更像 UDP，将可靠性问题推交给应用层，从而最大限度地减少了开销和延迟。 AI

影响 通过优化服务器性能，降低 AI 推理和交互式代理的延迟。

排序理由 来自专注于基础设施工具的云提供商的产品发布。

在 Modal blog 阅读 →

• Envoy
• gRPC
• HTTP
• iWARP
• Modal
• Modal Web Functions
• Pingora
• Python
• remote direct memory access
• RoCE v2
• Spanner
• Transmission Control Protocol
• User Datagram Protocol
• WebRTC
• WebSocket

• 产品
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →