HTTP 500s

LLM改进HAProxy故障隔离，但成本增加

一篇新的研究论文探讨了使用大型语言模型（LLM）来改进HAProxy（一种流行的负载均衡器）的后端故障隔离。研究发现，拥有约30亿活跃参数的LLM可以通过智能地将流量从降级服务器上路由开，从而显著减少客户端感知的5xx错误。然而，这种能力也带来了更高的代币花费和由于剩余服务器上的集中负载而导致的尾部延迟。研究表明，最有效的方法是使用一个有能力的LLM以非推理模式运行，并由确定性护栏保护。