一款名为GPUHedge的新开源工具已被开发出来，以缓解无服务器GPU提供商的冷启动延迟问题。该工具通过在多个提供商之间推测性地执行请求，取消失败的任务，并选择第一个成功的结果来发挥作用。基准测试表明，GPUHedge可以将p95延迟从116.6秒降低到29.4秒，消除超过60秒的请求，同时还能降低活跃计算成本。 AI
影响 降低了无服务器GPU上AI模型推理的延迟和成本，可能加速开发和部署。
排序理由 该集群描述了一个用于优化GPU提供商性能的新开源工具的发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Disclosure: I built it, it is open source, Apache-2.0 licensed, and currently alpha. Repository: <a href="https://github.com/mireklzicar/gpuhedge">https://github.com/mireklzicar/gpuhedge</a></p> <p>I started working on it after benchmarking a 17 …