本系列分为两部分，探讨 LLM 可观测性和可追溯性，重点介绍 LangSmith 平台。第一部分详细介绍了如何使用 LangSmith 的追踪功能和自定义回调使 LLM 应用程序可重放并创建防篡改审计日志。第二部分讨论了如何通过实现数据集、评估器和实验来防止回归，类似于传统的软件回归测试，并讨论了选择正确的工具栈。 AI
影响 为开发人员提供了用于健壮 LLM 应用程序管理的工具，包括回归测试和审计跟踪。
排序理由 该集群讨论了一个特定的软件产品 LangSmith 及其用于 LLM 可观测性和测试的功能，而不是新的模型发布或研究论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<h4><em>In Part 1, we made an agent replayable and audit-proof. Now we make it regression-proof — and then decide, with a clear head, whether LangSmith is even the right tool for your team.</em></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4lkz8-U6X9osB…
<h4><em>Your agent demoed perfectly. Then someone asked, “What exactly did the bot tell that customer on the 14th?” — and nobody could answer. This is the story of fixing that, end to end, with code.</em></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*whJ…