Dedicated Endpoints

Modal 推出 Endpoint Candidates 以优化推理

Modal 推出了 Endpoint Candidates，这是一项旨在帮助用户优化推理端点的新功能。该工具允许对专用端点进行分阶段的替代部署，以在质量、延迟、吞吐量和成本等指标上评估其性能。用户无需构建自己的镜像和部署基础设施，即可测试新的模型检查点或不同的模型，并可以直接从仪表板将成功的候选者推广到生产环境。Modal 还增强了其基于 Pingora 的代理，以更有效地管理流量镜像，防止缓慢的候选者影响生产性能。