研究人员开发了GORGO，一种新颖的代理架构，旨在优化大型语言模型（LLM）的推理负载均衡。GORGO通过采用进化策略调优，联合考虑网络延迟、预填充成本和排队延迟。该方法旨在改善首次令牌时间（TTFT）和端到端延迟等指标，在评估中比基线策略的性能高出30.9%。 AI
影响 优化LLM服务效率，可能降低LLM应用的延迟并改善用户体验。
排序理由 该集群描述了一篇关于LLM推理新架构的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
GORGO is a proxy architecture that optimizes LLM inference load balancing by jointly considering network latency, prefill cost, and queueing delay through evolutionary strategy tuning on a new synthetic dataset.
<p><a class="article-body-image-wrapper" href="https://media2.dev.to/dynamic/image/width=800%2Cheight=%2Cfit=scale-down%2Cgravity=auto%2Cformat=auto/https%3A%2F%2Fdev-to-uploads.s3.us-east-2.amazonaws.com%2Fuploads%2Farticles%2F9dz68ujsovnz3wkcodik.png"><img alt="6 Load Balancing…