实体
Observability for LLM Applications
Observability for LLM Applications
PulseAugur coverage of Observability for LLM Applications — every cluster mentioning Observability for LLM Applications across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM 成本归因：使用 OpenTelemetry 为代理追踪打标签
一位开发者概述了一种方法，通过利用 OpenTelemetry 追踪来归因与生成式人工智能代理相关的成本。该方法涉及在代理执行追踪中的 span 上添加特定属性，如代理名称、版本、功能、步骤和使用的模型。这种详细的标记实现了细粒度的成本分析，超越了人工智能服务提供商通常提供的汇总账单。通过实施这些约定，开发者可以识别哪些特定的代理操作对成本贡献最大，将账单从一个谜团转变为一个可查询的数据集。
-
AI代理因状态不同步而忘记任务；持久性是修复方法
AI代理可能会遭受“状态不同步”，即其内部记忆（模型上下文）与现实世界中任务的实际状态发生分歧。这通常发生在进程因崩溃或部署而重启后，导致代理忘记之前的操作并可能重复工作。解决方案包括在每一步之后将代理的“草稿板”（对其思考-行动-观察历史的记录）持久化到像SQLite这样的持久化存储中，而不是仅仅依赖于短期模型上下文。