GPT-3.5 Turbo
PulseAugur coverage of GPT-3.5 Turbo — every cluster mentioning GPT-3.5 Turbo across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
开发者现在可以在API调用前计算GPT Token
开发者现在可以在发送请求到API之前准确地计算GPT Token，从而避免意外的成本和截断。这可以通过Python中的`tiktoken`库和JavaScript中的`js-tiktoken`来实现，它们会根据模型名称处理不同的分词编码。这个过程需要理解Token是子词单元，而不是单词，并且像代码、数字和CJK文本这样的元素会显著增加Token数量。开发者还可以通过考虑消息结构和内容来估算聊天请求的Token使用量。
-
OpenAI推出GPT-4o mini，大幅降低生产应用的LLM成本
OpenAI发布了GPT-4o mini，这是一款新的、经济高效的LLM，旨在显著降低生产应用程序的价格。与前代GPT-4o相比，该模型提供了大幅成本降低，输入token定价为每百万个0.15美元，输出token定价为每百万个0.60美元。尽管成本较低，GPT-4o mini在MMLU等基准测试中表现出色，超越了Gemini-1.5-Flash和Claude (Haiku)等竞争对手。它非常适合各种任务，包括分类、提取、摘要和聊天机器…
-
AI工程师强调定制代理Harness以实现可靠性和控制
AI工程师越来越关注代理Harness的开发和重要性，它为AI模型可靠地执行任务提供了必要的结构和基础。这些Harness包括工具、上下文管理、护栏和代理循环，本质上充当核心模型周围的控制层。虽然一些人认为模型最终会自行生成Harness，但专家认为，定制的Harness对于定制化、可靠性以及避免供应商锁定至关重要，尤其是在特定领域的应用中。
-
OpenAI 发布 GPT-4o mini，大幅降低高用量任务的 API 成本
OpenAI 推出了 GPT-4o mini，这是一款新的、经济高效的模型，专为高用量 API 工作负载而设计。该模型将于 2024 年 7 月上市，其定价远低于 GPT-3.5 Turbo 和 GPT-4o，使其成为分类、提取和基本聊天机器人等任务的吸引人选择。虽然它在简单任务上表现强劲，并拥有 128K token 的上下文窗口，但在复杂推理、高级视觉任务和细致的长篇写作方面不如 GPT-4o。
-
DeepSeek V4.1 Flash 以削减成本的模型挑战西方AI巨头
中国AI公司DeepSeek发布了其V4.1 Flash模型，该模型显著降低了处理大量文本的成本。据报道，该新模型采用高效的混合专家（Mixture-of-Experts）架构，在多项基准测试中表现优于OpenAI的GPT-3.5 Turbo和Anthropic的Claude 3 Sonnet等成熟模型。DeepSeek激进的定价和性能表明全球AI市场正在发生转变，挑战着西方科技巨头的统治地位。
-
开发者通过缓存和模型切换将 AI API 成本削减 97.5%
一位开发者通过实施多项优化策略，显著降低了客户的 AI API 支出。通过审计 API 调用，该开发者发现 68% 的请求是近乎重复的，22% 使用了不必要的强大模型。使用 Redis 和向量嵌入实现语义缓存使成本降低了一半以上，而智能模型切换策略（在适当情况下将任务路由到更便宜的模型，如 GPT-3.5 Turbo 和 GPT-4o-mini）每月额外节省了 22,000 卢比。这些优化措施共同将客户的月度账单从 95,000 卢比…
-
GPT-4 在医疗摘要方面准确性有所提高，但仍会出现幻觉
一项研究评估了大语言模型在生成急诊科就诊摘要方面的有效性。与 GPT-3.5 Turbo 相比，GPT-4 表现出更高的准确性，但两个模型在事实一致性方面都存在问题，GPT-4 生成的摘要中有 42% 出现了幻觉，47% 的病例遗漏了相关的临床信息。
-
Vague2Detect 利用大型语言模型和知识库改进模糊提示检测
研究人员开发了 Vague2Detect，这是一个旨在改进开放世界物体检测中模糊提示解释的新颖系统。与 YOLO 等仅限于固定类别列表的传统模型不同，Vague2Detect 通过集成知识库和大型语言模型来增强 YOLO-World 等模型。该系统使用 Sentence-BERT 查询知识库以获取候选对象，然后使用 YOLO-World 进行验证。对于知识库未涵盖的提示，GPT-3.5 Turbo 会动态地用新概念扩展知识库。这种方法…
-
LLM 评估集成到 .NET CI/CD 流水线中作为发布门禁
将评估工具集成到 .NET CI/CD 流水线中，可以作为 LLM 变更的发布门禁，有助于在部署前自动检测回归、安全违规和成本飙升。一个实际案例涉及一个从 GPT-3.5 Turbo 升级到 GPT-4-preview 的金融科技策略机器人，评估门禁成功捕获了一个安全回归问题，即机器人重复了一个占位符策略编号，导致自动回滚。工程师在实施这些门禁时，必须仔细权衡速度、成本和置信度之间的权衡，避免常见的错误，如忽略 token 成本或硬编码阈值。
-
开发者因 token 计算挑战面临意外的 LLM 成本
构建大型语言模型应用程序的开发者需要仔细跟踪 token 使用情况，以避免意外成本，正如一位用户因未受监控的系统提示导致 OpenAI 账单激增的案例所示。虽然 OpenAI 提供了客户端 token 计算工具，但其他提供商如 Anthropic、Google (Gemini) 和 DeepSeek 则不提供类似的 JavaScript 库。对于这些提供商，开发者要么必须使用基于 API 的 token 计算端点（这会增加延迟），要么…
-
新脚本探测免费LLM服务器的跨会话内存泄漏
已开发一个Python脚本来测试免费LLM服务器的跨会话内存泄漏，这可能暴露敏感用户数据。该脚本在一个会话中植入一个独特的哨兵短语，并在后续会话中尝试检索它，以检测服务器是否在不相关的对话之间保留上下文。此方法与工具无关，可应用于任何与OpenAI兼容的端点，包括用于产品推广的MonkeyCode等服务。建议开发人员在处理敏感工作时使用本地模型或具有明确数据保留政策的付费提供商，因为免费服务器可能会无意中共享用户代码或数据。
-
Salesgraph框架通过详细的工件日志记录实现企业销售自动化
Salesgraph是一个开源框架，旨在自动化多阶段的企业销售流程，超越了简单的聊天机器人包装器。它采用由YAML/JSON驱动的配置方法来定义销售流程，集成了LLM、LinkedIn和Clearbit等工具。该框架为每个步骤提供详细的工件日志记录，实现可追溯性，并为关键阶段提供人工干预的备用方案。一个实际案例演示了从潜在客户研究到营销材料生成的管道，但由于Notion API的速率限制而遇到了失败。
-
开发者分享 3 个代价高昂的 OpenAI API 错误及一个成本追踪工具
一位开发者分享了在使用 OpenAI API 时犯下的三个代价高昂的错误，重点关注成本管理。第一个错误是忽略了“temperature”和“max_tokens”设置的影响，这可能导致高流量任务的成本意外飙升。第二个陷阱是未能按用户追踪 API 成本，导致企业不清楚谁是成本最高的用户。第三个错误是为可以由 GPT-3.5 Turbo 等更便宜的替代品处理的任务使用了 GPT-4 等最强大的模型，从而导致大量超支。为了解决这些问题，该开…
-
开源AI模型正迅速缩小与闭源模型的差距 · 跟踪到1个来源
SemiAnalysis的最新分析表明，开源AI模型在性能上追赶闭源模型所需的时间正在迅速缩短。尽管闭源模型历来占有优势，但像Kimi K3和GLM-5.3这样的新开源模型正展现出竞争力。这种趋势，特别是随着中国AI模型的崛起，可能会降低尖端AI的价值，并影响OpenAI和Anthropic等主要开发商。
-
11个AI模型通过单一提示进行比较，结果各不相同 · 跟踪4个来源
Netlify最近的一篇博客文章探讨了11个不同的AI模型在收到相同提示时性能上的差异。文章强调了来自OpenAI、Google、Anthropic、Meta、Mistral AI和Cohere等主要AI实验室的模型会产生截然不同的输出，展示了当前大型语言模型的多样化能力和细微差别。这种比较突显了测试各种模型以找到最适合特定任务的模型的重要性。
-
新研究探索用于自动提示优化的模块化和递归方法
两篇新研究论文介绍了优化大型语言模型提示的新方法。第一篇SAPO将提示分解为角色、上下文和任务等部分，从而进行有针对性的改进，以提高在各种基准测试中的性能。第二篇RLMOpt利用递归语言模型来驱动优化过程本身，从而在多个任务和基准测试中实现更高效、更有效的提示生成，其性能通常优于GEPA等现有方法。
-
将 OpenAI GPT 模型集成到应用程序的指南
本文提供了一份技术指南，介绍如何将 OpenAI 的 GPT 模型集成到应用程序中，重点关注 Chat Completions API。文章详细介绍了必要的设置，包括使用 Node.js 和 Express 进行环境配置，并解释了如何使用消息角色（system、user、assistant）来管理对话历史。该指南强调了 GPT-4 Turbo 和 GPT-3.5 Turbo 之间的区别，建议用户根据其对上下文窗口、准确性和成本的具体需…
-
大语言模型通过新的交易成本角色方法模拟政策反应
研究人员开发了一种新方法，通过将感知交易成本的概念融入大语言模型（LLM）角色中，来模拟个人可能如何应对能源政策干预。该方法使用来自荷兰的调查数据进行测试，它不仅根据人口统计学特征，还根据租户对节能改造的成本、收益和障碍的理解来代表他们。研究发现，这种摩擦感知角色设计在包括GPT-3.5 Turbo、Ministral-8B-Instruct和Llama 3.1 8B-Instruct在内的各种大语言模型中一致提高了模型性能，表明其在…
-
LLM网关路由切换器捕获数据以优化提示
Skelf-Research开发的路由切换器LLM网关，通过捕获和利用调用数据，为改进提示提供了一种新颖的方法。与仅仅路由请求并丢弃提示数据的传统网关不同，路由切换器将每次交互都存储在SQLite数据库中。然后，通过包括生成、贝叶斯优化和评估在内的六个步骤，利用捕获的数据来迭代地优化提示。该系统支持OpenAI、Anthropic和Google等多个LLM提供商，并通过模仿OpenAI API来设计，易于集成。
-
LiteLLM 实现多提供商 LLM 回退，增强可靠性
LiteLLM 是一个 AI 网关，通过统一的接口促进像 OpenAI、Anthropic、Azure 和 Vertex AI 等多个 LLM 提供商的使用。它提供了一种回退机制，当首选提供商或模型失败时，会自动将请求路由到备用提供商或模型，从而确保应用程序的可靠性。最佳实践包括平衡成本和性能、监控延迟和错误率等关键指标，以及利用上下文感知回退等功能来处理参数兼容性和长输入的自动路由。