DatasetItem

LLM 可观测性工具捕获追踪但限制断言粒度

用于 LLM Agent 的可观测性工具，如 Langfuse、LangSmith 和 Phoenix，提供了捕获生产追踪的方法，但它们在定义输入和断言方面的默认配置可能有限制性。作者认为，捕获 Agent 的失败需要将输入定义为失败点的状态，而不仅仅是初始用户消息，并且断言槽通常捕获单个输出，而不是工具调用的完整轨迹。DeepEval 被强调为一个例外，它提供了可以直接对工具调用序列进行断言建模的模式。