实体
Aman Kumar
Aman Kumar
PulseAugur coverage of Aman Kumar — every cluster mentioning Aman Kumar across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
开发者分享使用 FastAPI 后端将 LLM 实时流式传输到浏览器的技术
一位开发者概述了一种将大型语言模型 (LLM) 的输出从 Python 后端流式传输到 Web 浏览器的方法，解决了响应一次性全部出现而非实时显示的常见问题。该方法利用 FastAPI 作为后端，并使用服务器发送事件 (SSE) 来中继数据，确保 API 密钥安全地保存在服务器上。该解决方案包括将每个流式传输的块包装在 JSON 中以正确处理换行符，并检查客户端断开连接以防止不必要的 API 调用和成本。
-
开发者分享用于模拟 LLM API 调用的 pytest 策略
开发者 Aman Kumar 概述了一种测试与大型语言模型交互的代码的策略，特别是使用 OpenAI Python 客户端。该方法提倡将单元测试（使用模拟客户端来模拟模型响应）与少量实时冒烟测试分开。这种方法旨在通过将测试重点放在周围的代码逻辑而不是模型输出（可能具有可变性）来提高测试速度、可靠性和成本效益。
-
开发者构建客户端缓存以降低 LLM API 成本和延迟
一位开发者创建了一个客户端缓存系统，以减少与 OpenAI 兼容 API 重复相同请求相关的延迟和成本。缓存键经过精心构建，包含可能影响输出的所有参数，例如基础 URL、模型 ID、消息数组和各种生成设置。这种使用 Python 和 SQLite 实现的方法可以即时存储和检索相同的响应，从而无需为重复查询调用 API。该系统旨在与提供商级别的提示缓存协同工作，为优化 LLM 交互提供更全面的解决方案。