v1/chat/completions

LLM 代理的负载测试需要计时完整循环，而不仅仅是 API 调用

本文详细介绍了如何有效地对 LLM 代理的并发工具调用请求进行负载测试，强调需要衡量整个代理循环，而不仅仅是单个 API 调用。文章解释说，代理的单个用户可见请求涉及多次模型交互和工具执行，未能准确计时此循环会导致误导性的性能指标。作者提供了一个 Python Locustfile 示例，演示了如何计时循环的每个组件，包括模型调用和工具执行，以获得对延迟和资源消耗的真实理解。