Prashant

开发者探索多LLM提供商策略以提高应用程序可靠性

一位AI开发者正在探索策略，以减轻依赖大型语言模型（LLM）的应用程序的宕机和不可靠性。核心挑战在于管理多个LLM提供商，因为每个提供商都有不同的API、响应格式和故障模式。该开发者旨在创建一个中间层，抽象化这些差异，使应用程序能够在一个提供商不可用或出现问题时无缝地切换到其他提供商。这种方法将LLM视为潜在不可靠的依赖项，类似于数据库和服务器多年来的管理方式。