v1/chat/completions
PulseAugur coverage of v1/chat/completions — every cluster mentioning v1/chat/completions across labs, papers, and developer communities, ranked by signal.
-
Chat API failover bug causes duplicate responses
一位开发者遇到了一个问题，他们的聊天 API 会将请求路由到多个 OpenAI 兼容模型，但有时会重复返回答案。当上游提供商在发送部分数据后返回错误时，就会发生这种情况，导致路由器使用不同的模型重试，并将新响应附加到不完整的响应上。开发者实施了一个修复程序，只允许在发送任何 token 之前进行模型故障转移，从而确保后续错误会导致完全失败，而不是拼接、重复的响应。
-
开发者用Python脚本测试免费LLM服务器的极限
一位开发者创建了一个Python脚本来测试免费大语言模型（LLM）服务器的性能极限。该脚本采用“阶梯测试”方法，逐渐增加并发量，以识别服务器何时开始减速、返回错误或产生损坏的输出。这种方法旨在揭示这些免费接口隐藏的性能上限，这些上限通常未被记录，并可能导致批量处理期间出现意外故障。
-
哈希链方法确保 AI 模型响应的完整性
本文介绍了一种使用哈希链为 AI 模型响应创建防篡改日志的方法。通过将每个响应与前一个响应通过加密哈希链接起来，任何日志条目的修改或删除都会立即显现。本教程提供了 Python 3 代码来设置一个模拟模型端点和一个生成这些哈希链式日志的客户端，从而确保模型输出的完整性和顺序。
-
LLM 代理的负载测试需要计时完整循环，而不仅仅是 API 调用
本文详细介绍了如何有效地对 LLM 代理的并发工具调用请求进行负载测试，强调需要衡量整个代理循环，而不仅仅是单个 API 调用。文章解释说，代理的单个用户可见请求涉及多次模型交互和工具执行，未能准确计时此循环会导致误导性的性能指标。作者提供了一个 Python Locustfile 示例，演示了如何计时循环的每个组件，包括模型调用和工具执行，以获得对延迟和资源消耗的真实理解。