PulseAugur
中
实时 18:50:08
实体 Endpoint Candidates

Endpoint Candidates

PulseAugur coverage of Endpoint Candidates — every cluster mentioning Endpoint Candidates across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_296150 ·

    Modal 推出 Endpoint Candidates 以优化推理

    Modal 推出了 Endpoint Candidates,这是一项旨在帮助用户优化推理端点的新功能。该工具允许对专用端点进行分阶段的替代部署,以在质量、延迟、吞吐量和成本等指标上评估其性能。用户无需构建自己的镜像和部署基础设施,即可测试新的模型检查点或不同的模型,并可以直接从仪表板将成功的候选者推广到生产环境。Modal 还增强了其基于 Pingora 的代理,以更有效地管理流量镜像,防止缓慢的候选者影响生产性能。

  2. TOOL · CL_274549 ·

    Modal 发布 VM 沙盒、多节点集群及推理优化工具

    Modal 宣布推出多项旨在增强其云计算平台的新功能,包括为需要完整 Linux 环境的代理提供的 VM 沙盒,以及用于运行具有增强隔离性的辅助容器的 Sandbox Sidecars。该公司还将其多节点 Modal Clusters 正式投入使用,该集群专为模型训练和推理等大规模作业设计。此外,Modal 推出了 Sticky Sessions 以在请求之间保持应用程序状态,并推出了 Endpoint Candidates,通过基准…